2012年時《紐約時報》的一篇專欄文章「The Age o fBigData」正式宣告大數(shù)據(jù)時代的來臨,到了2015年,大數(shù)據(jù)一詞已經(jīng)可以說是耳熟能詳,然而在現(xiàn)今互聯(lián)網(wǎng)跟云端技術(shù)的發(fā)達,加上智能產(chǎn)品、移動裝置的普及下,以下四點將會是大數(shù)據(jù)的發(fā)展重點。
1.求快求即時:In-Memory數(shù)據(jù)庫
當(dāng)這世界上累積的數(shù)據(jù)量越來越龐大,各企業(yè)制訂商業(yè)策略所納入考量的數(shù)據(jù)也跟著大幅增加,這時候如何減少將數(shù)據(jù)(Data)轉(zhuǎn)換成資訊(Information)的時間變得尤其重要。
采用記憶體內(nèi)運算技術(shù)(In-Memory Computing)減少原始數(shù)據(jù)的移動,僅搬移運算后的結(jié)果,加快處理的速度,并且透過壓縮技術(shù)減 少數(shù)據(jù)量,能夠有效提升數(shù)據(jù)庫效能,應(yīng)付企業(yè)對數(shù)據(jù)運算量及速度日益升高的要求,也使得企業(yè)得到的資訊更即時、能更快地回應(yīng)各種市場需求及回饋,甚至開發(fā) 出全新市場、開創(chuàng)出其獨一無二的價值。
2.萬物聯(lián)網(wǎng)的時代
在物聯(lián)網(wǎng)概念起飛的這個時代,越來越多行動裝置、智慧型居家裝置被市場接受,進入到我們的生活中,根據(jù)預(yù)測,智慧型裝置的數(shù)量將會從現(xiàn)在到2020年將從130億成長到500億。
可以預(yù)期的是更多種類型的數(shù)據(jù)將以更多形式被感測、收集起來,而且這些大量且即時性的感測數(shù)據(jù)(Senso rDriven Data)屬於非結(jié)構(gòu) 化數(shù)據(jù),也就是從文本分析到未經(jīng)處理的文字、聲音與影片導(dǎo)出的數(shù)據(jù),如何儲存處理及分析成為現(xiàn)在十分重要的課題,可能從中挖掘出未知的趨勢并帶給人類生活 重大的改變。
3.大數(shù)據(jù)上云端
如果說「大數(shù)據(jù)」是現(xiàn)在最夯的科技潮字,那上一個最紅的則是「云端運算」。從2006年被提出后,云端(Cloud)便廣為科技業(yè)所使用,各企業(yè)更是積極提出各種云端服務(wù)。
大數(shù)據(jù)與云端技術(shù)可以說是相輔相成,大數(shù)據(jù)大大的推動了云端服務(wù),而云端服務(wù)的普遍也使得數(shù)據(jù)量攀升。2014年全世界平均每天產(chǎn)生23TB的 數(shù)據(jù),大約是2012年的920倍,以這種情況來看,云端服務(wù)在大數(shù)據(jù)時代相當(dāng)於「公共設(shè)施」般不可或缺,不但用來儲存各式各樣的數(shù)據(jù),還利用云端運算來 建構(gòu)基於大數(shù)據(jù)的應(yīng)用程式和API,建立模型預(yù)測未來的事件。
4.人才很重要,平臺跟工具更重要
因此對於不算「新」但算剛「熱」的大數(shù)據(jù)來說,在短短幾年內(nèi)蓬勃發(fā)展,數(shù)據(jù)專家自然成為各公司爭搶的人才,四個最常見的大數(shù)據(jù)人才工作內(nèi)容以及薪資范圍請參考《數(shù)據(jù)分析師?科學(xué)家?架構(gòu)師?大數(shù)據(jù)人才的工作內(nèi)容及年薪比較》一文。
不過事實是,人才需要時間培養(yǎng)(以大學(xué)主修到碩士畢業(yè)來算,約需要4-6年),如果以2012年當(dāng)作大數(shù)據(jù)發(fā)燒年,數(shù)據(jù)挖掘、數(shù)據(jù)處理因而成為超熱門的學(xué)科,最快的一票「趕潮流」的數(shù)據(jù)新鮮人將會在2016年進入市場。
對于正在狂燒的大數(shù)據(jù)市場,人才不夠的情況下,對於小企業(yè)來說最不可或缺的反而是大數(shù)據(jù)分析平臺與數(shù)據(jù)視覺化工具!例如Cloudera、 Sum All的線上分析平臺,以及Tableau、QlikView等數(shù)據(jù)視覺化工具。許多企業(yè)都會要求員工熟悉上述平臺及工具、具備一些數(shù)據(jù)分析「基本 技能」。如果想讓自己在大數(shù)據(jù)時代中擁有更高的競爭力,可以參考這篇《大數(shù)據(jù)時代中求生存:9個必殺絕技殺進BigData市場》。