BI,數(shù)據(jù)倉(cāng)庫(kù),ETL,大數(shù)據(jù)開(kāi)發(fā)工程師有什么區(qū)別
這些職位都與數(shù)據(jù)有關(guān)。BI是商業(yè)智能。崗位包括etl，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)展示。數(shù)據(jù)倉(cāng)庫(kù)是一套數(shù)據(jù)庫(kù)模型ETL，負(fù)責(zé)清理原始數(shù)據(jù)的過(guò)程。清理之后，數(shù)據(jù)將被加載到數(shù)據(jù)倉(cāng)庫(kù)中。大數(shù)據(jù)開(kāi)發(fā)，大量的數(shù)據(jù)，幾千萬(wàn)甚至幾十億的數(shù)據(jù)開(kāi)發(fā)

大數(shù)據(jù)工程師到底是什么?
1。找出過(guò)去事件的特征。大數(shù)據(jù)工程師一個(gè)很重要的工作就是通過(guò)分析數(shù)據(jù)，找出過(guò)往事件的特征。例如，騰訊的數(shù)據(jù)團(tuán)隊(duì)正在建立一個(gè)數(shù)據(jù)倉(cāng)庫(kù)，整理公司所有網(wǎng)絡(luò)平臺(tái)上龐大而不規(guī)則的數(shù)據(jù)信息，總結(jié)出可以查詢(xún)的特征，以支持公司各種業(yè)務(wù)的數(shù)據(jù)需求，包括廣告、游戲開(kāi)發(fā)、社交網(wǎng)絡(luò)等。找出過(guò)往事件的特征，可以幫助企業(yè)更好地了解消費(fèi)者。通過(guò)分析用戶(hù)過(guò)去的行為軌跡，可以了解這個(gè)人，預(yù)測(cè)他的行為?！澳憧梢灾浪鞘裁礃拥娜耍挲g，愛(ài)好，是否是互聯(lián)網(wǎng)付費(fèi)用戶(hù)，喜歡玩什么類(lèi)型的游戲，平時(shí)喜歡在網(wǎng)上做什么。”騰訊云計(jì)算有限公司北京R&D中心總經(jīng)理鄭利峰說(shuō)。接下來(lái)在業(yè)務(wù)層面，可以為各類(lèi)人群推薦相關(guān)服務(wù)，比如手機(jī)游戲，或者根據(jù)不同的特點(diǎn)和需求衍生出新的業(yè)務(wù)模式，比如微信的電影票業(yè)務(wù)。2.通過(guò)引入關(guān)鍵因素來(lái)預(yù)測(cè)未來(lái)可能發(fā)生的事情，大數(shù)據(jù)工程師可以預(yù)測(cè)未來(lái)的消費(fèi)趨勢(shì)。在李媽媽的營(yíng)銷(xiāo)平臺(tái)上，工程師們正試圖通過(guò)引入氣象數(shù)據(jù)來(lái)幫助淘寶賣(mài)家做生意?！袄?，如果今年夏天不熱，很可能有些產(chǎn)品的銷(xiāo)量不如去年。除了空調(diào)，電風(fēng)扇，背心，泳衣等。可能都受其影響。然后我們會(huì)建立氣象數(shù)據(jù)和銷(xiāo)售數(shù)據(jù)的關(guān)系，找到相關(guān)的品類(lèi)，提前預(yù)警賣(mài)家的周轉(zhuǎn)庫(kù)存?！毖?duì)說(shuō)道。在百度，沈志勇支持百度預(yù)測(cè)部分產(chǎn)品的模型研發(fā)，試圖用大數(shù)據(jù)服務(wù)更廣泛的人群。網(wǎng)上的有世界杯預(yù)測(cè)，高考預(yù)測(cè)，景點(diǎn)預(yù)測(cè)等。以百度景區(qū)預(yù)測(cè)為例，大數(shù)據(jù)工程師需要收集某段時(shí)間內(nèi)所有可能影響景區(qū)交通流量的關(guān)鍵因素，并對(duì)全國(guó)各景區(qū)未來(lái)?yè)矶虑闆r進(jìn)行排名——未來(lái)幾天是暢通、擁擠還是普遍擁擠？3.找到最佳結(jié)果。根據(jù)不同企業(yè)的業(yè)務(wù)性質(zhì)，大數(shù)據(jù)工程師可以通過(guò)數(shù)據(jù)分析達(dá)到不同的目的。在騰訊的案例中，鄭利峰認(rèn)為，最簡(jiǎn)單直接的可以反映大數(shù)據(jù)工程師工作的例子是ABTest，它幫助產(chǎn)品經(jīng)理在A和B選項(xiàng)之間進(jìn)行選擇。過(guò)去，決策者只能根據(jù)經(jīng)驗(yàn)做出判斷，但現(xiàn)在大數(shù)據(jù)工程師可以通過(guò)大范圍的實(shí)時(shí)測(cè)試來(lái)幫助營(yíng)銷(xiāo)部門(mén)做出最終選擇——例如，在社交網(wǎng)絡(luò)產(chǎn)品的情況下，一半用戶(hù)可以看到界面A，另一半用戶(hù)可以使用界面B，并觀察和統(tǒng)計(jì)一段時(shí)間內(nèi)的點(diǎn)擊率和轉(zhuǎn)化率。