湖北軟件之窗
鄔賀銓:中國信息化百人會顧問、中國工程院院士、中國互聯(lián)網(wǎng)協(xié)會理事長
一般來說,數(shù)據(jù)來源主要有三個層面:第一個層面是網(wǎng)絡數(shù)據(jù);第二個層面是網(wǎng)絡傳感器上面的數(shù)據(jù);還有一些既不是網(wǎng)絡也不是傳感器的數(shù)據(jù),比如政府以及企業(yè)部門所收集的數(shù)據(jù),就屬于第三個層面,即社會層面的數(shù)據(jù)?;跀?shù)據(jù)庫,我們在應用的時候可以根據(jù)需要選擇有用的數(shù)據(jù),然后通過變換、利用,最終融合出來需要的東西。
誰在支持大數(shù)據(jù)
大數(shù)據(jù)產(chǎn)業(yè)涉及到很多方面,首先需要有一個大數(shù)據(jù)平臺,還需要有寬帶的存儲設施、云計算等平臺。
上世紀80年代以前國內(nèi)主要是在電纜上面的傳輸系統(tǒng),是模擬的。隨后光纖通信技術進入了市場,在上世紀90年代初是一根光纖傳2.5G,實際可以把很多波長利用起來,我們叫波分復用,進而通過多種技術可以把光纖傳輸能力再進一步提高,現(xiàn)在一對光纖在實驗室可以傳到16TP。除了光系統(tǒng)以外,移動通信也在飛速地發(fā)展,上世紀90年代以前的通信方式主要是打電話;后來第二代移動通信出現(xiàn)了,現(xiàn)在大家大部分使用的還是第二代移動通信,它是數(shù)字的交換,帶寬比較窄;2009年中國發(fā)放3家3G牌照。在去年年底國務院批準發(fā)放了4G牌照,現(xiàn)在LET在中國很多地方布網(wǎng)和商用,實際上國際上已經(jīng)啟動了第五代通信網(wǎng)絡應用,在家里不用網(wǎng)線就可以下載峰值達到50G,光纖的發(fā)展為大數(shù)據(jù)提供了很好的平臺。
除了光纖和通信以外,計算機也是少不了的,上世紀50年代大型計算機,上世紀60年代小型計算機,上世紀80年代個人計算機,上世紀90年代筆記本電腦,到現(xiàn)在的智能型手機。全世界第一臺計算機是1946年出現(xiàn)的,當時占地面積170平方米,那時候計算機的能力相當于會計手上拿的計算器;1975年美國國防部拿了500萬美元買一臺當時最先進的超級計算機,相當于我們現(xiàn)在的iphone4;1985年美國防部更新了超級計算機,相當于IPaD2;上世紀90年代買1G的閃存要1800美元,而現(xiàn)在只要0.25美分,所以隨著計算機能力提升,大數(shù)據(jù)處理能力也相應提升。
另外,大數(shù)據(jù)也離不開軟件,軟件發(fā)展從單機到網(wǎng)絡。早期的阿波羅登月飛行器軟件只有4000行代碼,現(xiàn)在波音飛機的軟件有2萬行,高鐵有十幾億的行代碼,我們用的智能手機操作系統(tǒng)也有上百萬行的代碼。軟件能力的提升也方便了對大數(shù)據(jù)的挖掘。
除了軟件以外,云計算是大數(shù)據(jù)里重要的基礎設施。云計算下面有基礎設施,提供服務器、存儲器和網(wǎng)絡?,F(xiàn)在,每個單位可能都會有信息化系統(tǒng),自建信息化系統(tǒng)很不經(jīng)濟且利用率不高。因此,委托第三方進行系統(tǒng)建設,就構成了云計算的基礎設施服務,僅有基礎設施服務是不夠的,所以在云計算里通常都會增加平臺服務,提供很多工具,有利于用戶利用這些工具開發(fā)所需要的軟件。盡管提供了工具,但是對于一些中小企業(yè)來講,仍然沒有能力利用這些工具開發(fā)軟件。因此,云計算可以向更多公司提供租用軟件,如客戶關系管理、HR人力資源管理等等,另外,一些更大的企業(yè)可以自己在云計算開發(fā)事務性的企業(yè)管理軟件。
有了寬帶化、軟件、計算機和云計算,是不是就一定能完全處理大數(shù)據(jù)呢?大數(shù)據(jù)比較難處理的是實現(xiàn)語義的分析,我們可以收集很多數(shù)據(jù),但是如何讓計算機來理解還有一定的困難。像Google與斯坦福的合作,用很多張圖讓計算機去看貓,計算機看了10天以后就發(fā)現(xiàn)很多圖片里面都有一只動物,盡管樣子不一樣,但是基本是一個類型,所以計算機學會了這是貓,然后再把2萬張從來沒有看過的照片給它看,它的識別率是15%,從應用上來說這還是遠遠不夠的,但這也表明訓練計算機識別圖像仍然是有可能的,未來大數(shù)據(jù)分析就是要訓練計算能力能夠代替人去處理需要理解的一些文字、照片、圖片、視頻。大數(shù)據(jù)需要實現(xiàn)虛擬化和可視化,因為雖然收集了很多數(shù)據(jù),只有通過可視化、虛擬化方式才能被大多數(shù)人理解。
大數(shù)據(jù)帶來新財富
大數(shù)據(jù)的產(chǎn)品包括了軟硬件服務、關系數(shù)據(jù)庫的軟件、數(shù)據(jù)集成和數(shù)據(jù)資料服務,大數(shù)據(jù)開發(fā)平臺、數(shù)據(jù)可視化平臺、應用分析和應用視頻服務以及一些視頻軟件和大數(shù)據(jù)專業(yè)咨詢培訓服務。各種各樣應用設施以及軟件、服務,構成了大數(shù)據(jù)設施產(chǎn)業(yè)基礎。
大數(shù)據(jù)的產(chǎn)業(yè)設施有多大呢?2017年硬件可能占1/3,軟件占1/3,服務占1/3還多一些,按咨詢公司估計,到2017年全世界大數(shù)據(jù)市場大概超過500億美元。到2016年,中國大數(shù)據(jù)應用的市場大概是100多億元,當然這主要是應用,還沒有完全包括所有的產(chǎn)品設施。
廣義的大數(shù)據(jù)產(chǎn)業(yè)更廣泛,包括大數(shù)據(jù)硬件,網(wǎng)絡設備、存儲器,關系數(shù)據(jù)庫、非關系數(shù)據(jù)庫一些分析軟件,還有跟大數(shù)據(jù)有關的服務,但是廣義大數(shù)據(jù)產(chǎn)業(yè)還要再拓展,如傳統(tǒng)產(chǎn)業(yè)利用大數(shù)據(jù)應用而增值,用于工業(yè)、農(nóng)業(yè)、商貿(mào)、交通、建筑、教育、環(huán)保、制造業(yè)等等。
大數(shù)據(jù)在風電行業(yè)就有很好的應用,通過風電檢測可以發(fā)現(xiàn)風資源狀況以及怎么樣更好地利用;另外大數(shù)據(jù)在零售業(yè)也有很好的利用,沃爾瑪通過大數(shù)據(jù)分析知道買A商品的用戶和買B商品的用戶分別有多少,而這些大數(shù)據(jù)開發(fā)有助于零售業(yè)的開發(fā)。大數(shù)據(jù)也可以應用到醫(yī)療領域,從而在醫(yī)療研發(fā)上一年可以減少200億美元的開支,在醫(yī)療商業(yè)模式上也會節(jié)省幾十億美元。據(jù)麥肯錫公司統(tǒng)計,大數(shù)據(jù)可以給美國醫(yī)療保健每年提供3000億美元的價值,給歐洲公共管理提供2500億美元管理上的價值,給服務提供商帶來6000億美元年度盈余,給零售商帶來60%的利潤增加,給制造業(yè)帶來50%成本的下降。大數(shù)據(jù)是新財富,價值堪比石油。
誰將從大數(shù)據(jù)里面受益呢,首先是制造業(yè),因為企業(yè)多;第二是政府,大數(shù)據(jù)的一個特征就是開放,如果政府能夠適當開放政府所掌控的數(shù)據(jù),全世界都會從政府開放的數(shù)據(jù)當中受益,麥肯錫公司認為這大概會給全球經(jīng)濟每年帶來23000億美元到53000億美元的紅利。
總之,現(xiàn)在網(wǎng)絡通信發(fā)展進入了大數(shù)據(jù)、智慧城市、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和云計算時代。大數(shù)據(jù)提升了決策智能化水平,大數(shù)據(jù)成為兩化融合的抓手,大數(shù)據(jù)用于社會管理和民生服務將創(chuàng)造出顯著社會效應,大數(shù)據(jù)對中國既是機遇也是挑戰(zhàn),全社會都需要重視和挖掘大數(shù)據(jù)的應用。