大數(shù)據(jù)和數(shù)據(jù)分析有什么區(qū)別?

| 2022-09-21 admin

企業(yè)可以通過(guò)手中的數(shù)據(jù),或挖掘用戶需求,或優(yōu)化產(chǎn)品,或搶奪市場(chǎng),或減少運(yùn)營(yíng)成本等等……一個(gè)優(yōu)秀的數(shù)據(jù)分析師能為企業(yè)帶來(lái)巨大的潛在利潤(rùn)。隨著企業(yè)對(duì)數(shù)據(jù)分析師的需求逐年增加,數(shù)據(jù)分析師的薪酬待遇也水漲船高。

當(dāng)我們打開招聘網(wǎng)站,看著數(shù)據(jù)分析師誘人的薪資的時(shí)候,會(huì)發(fā)現(xiàn)數(shù)據(jù)分析崗有“數(shù)據(jù)分析師”和“大數(shù)據(jù)分析師”之分,那大數(shù)據(jù)和數(shù)據(jù)分析有什么區(qū)別呢?

CDA數(shù)據(jù)分析研究院于2018年8月對(duì)智聯(lián)招聘網(wǎng)站中關(guān)鍵字“數(shù)據(jù)分析”的招聘信息進(jìn)行爬取,在對(duì)數(shù)據(jù)進(jìn)行清洗后,排除了一萬(wàn)多條低相關(guān)度的招聘以及虛假招聘,對(duì)剩下的5706條相關(guān)招聘信息進(jìn)行分析。

通過(guò)對(duì)招聘信息中 “崗位職責(zé)”和“任職要求”兩個(gè)字段作詞頻分析,我們可以得知兩者的區(qū)別。

1.崗位職責(zé)區(qū)別

首先我們對(duì)數(shù)據(jù)分析崗位的字段“崗位職責(zé)”生成詞云(涉及813條數(shù)據(jù)): 

我們可以總結(jié)出數(shù)據(jù)分析崗位的主要工作職責(zé):

1、負(fù)責(zé)日常的需求調(diào)研、數(shù)據(jù)分析、商業(yè)分析。這過(guò)程的日常任務(wù)可能包括提交日?qǐng)?bào)、周報(bào)、月報(bào)、年報(bào)等數(shù)據(jù)報(bào)表;

2、根據(jù)業(yè)務(wù)需求,制定相關(guān)數(shù)據(jù)的采集策略,設(shè)計(jì)、建立、測(cè)試相關(guān)的數(shù)據(jù)模型,從而從數(shù)據(jù)中提取決策價(jià)值。這過(guò)程可能需要撰寫特定分析需求的報(bào)告;

3、研究數(shù)據(jù)挖掘模型,參與數(shù)據(jù)挖掘模型的構(gòu)建、維護(hù)、部署和評(píng)估工作。 

而當(dāng)我們對(duì)大數(shù)據(jù)分析崗位的字段“崗位職責(zé)”生成詞云(涉及508條數(shù)據(jù)),我們可以明顯看到兩類數(shù)據(jù)崗位的區(qū)別: 

我們可以歸納出大數(shù)據(jù)分析崗的主要工作職責(zé):

1、參與大數(shù)據(jù)平臺(tái)的設(shè)計(jì)與開發(fā),解決海量數(shù)據(jù)面臨的挑戰(zhàn); 

2、精通Java編程,能基于Hadoop/Hive/Spark/Storm/HBase等構(gòu)建公司的大數(shù)據(jù)分析平臺(tái); 

3、管理、優(yōu)化并維護(hù)Hadoop、Spark等集群,保證集群規(guī)模持續(xù)、穩(wěn)定; 

4、負(fù)責(zé)HDFS/hive/HBase的功能、性能和擴(kuò)展,解決并實(shí)現(xiàn)業(yè)務(wù)需求。

2.從業(yè)者專業(yè)背景要求區(qū)別

通過(guò)對(duì)數(shù)據(jù)分析崗的字段“任職要求”(涉及999條數(shù)據(jù)),CDA數(shù)據(jù)分析研究院發(fā)現(xiàn)目前招聘需求中,對(duì)數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)這三個(gè)專業(yè)背景的應(yīng)聘者的需求最高,其次是經(jīng)濟(jì)類專業(yè)。 

而當(dāng)我們對(duì)大數(shù)據(jù)崗位的專業(yè)背景作詞頻分析時(shí)發(fā)現(xiàn)(涉及658條數(shù)據(jù)),大數(shù)據(jù)分析崗位對(duì)計(jì)算機(jī)專業(yè)背景要求最高,詞頻幾乎是統(tǒng)計(jì)學(xué)專業(yè)的兩倍多。對(duì)數(shù)學(xué)專業(yè)的需求排第二,對(duì)經(jīng)濟(jì)類專業(yè)的需求極少。 

3.使用分析工具區(qū)別

那兩類崗位在工作中使用的軟件工具有什么區(qū)別呢? 

CDA數(shù)據(jù)分析研究院先對(duì)“任職要求”中的數(shù)據(jù)分析工具作詞頻分析(涉及999條): 

我們會(huì)發(fā)現(xiàn)將近一半的崗位要求掌握SQL語(yǔ)言和EXCEL,排在第三位的是當(dāng)前數(shù)據(jù)科學(xué)界的“當(dāng)紅炸子雞”Python。緊隨其后的是傳統(tǒng)的統(tǒng)計(jì)軟件R、SPSS、SAS。當(dāng)然也會(huì)有少部分企業(yè)要求懂得大數(shù)據(jù)平臺(tái)架構(gòu)軟件Hadoop、Storm等。 

而當(dāng)CDA數(shù)據(jù)分析研究院對(duì)大數(shù)據(jù)分析崗位作詞頻分析時(shí)發(fā)現(xiàn)(涉及658條),崗位要求中詞頻最高的是Hadoop、Spark、Hive、HBase、Storm等大數(shù)據(jù)平臺(tái)工具。

超過(guò)六成的大數(shù)據(jù)分析崗要求對(duì)Java編程熟練,近三分之一崗位要求對(duì)Linux開發(fā)環(huán)境熟悉。

除了要求掌握海量數(shù)據(jù)處理的軟件工具以外,Python和SQL的詞頻也很高,近三分之一的崗位要求掌握。但是我們能明顯看到大數(shù)據(jù)分析工作中所使用的軟件均偏向于大數(shù)據(jù)平臺(tái)的開發(fā)和架構(gòu),要處理的數(shù)據(jù)量也遠(yuǎn)超普通數(shù)據(jù)分析崗。