Skip to content

移動互聯網大數據時代面臨的機遇與挑戰

  2014年6月12日北京國際飯店會議中心,2014移動互聯網發展大會暨(第五屆)中國手機應用開發者大會如期開幕,在移動大數據分會場進行著一場主題為“機遇與挑戰”的高端論壇會議,現場的嘉賓都是來自各地不同的行業,但都是為瞭一個熱詞“大數據”匯集在這裡,大數據與移動互聯網密不可分,一方面移動互聯網提升瞭大數據的質量,能準確更快的手機移動信息。另一方面移動網豐富瞭大數據的類型,大量的用戶生成內容、音頻、文本、視頻、圖片等非結構化的數據,應該說無所不包。移動互聯網時代大數據從何而來,將給我們的生活帶來什麼樣的改變或者影響?

  中國在大數據時代面臨的機遇與挑戰

  為什麼大數據那麼重要?引用今年2月17日,中央成立瞭網絡安全和信息化領導小組,習總書記當組長,有一個講話,特別有一句話講的非常好,很貼切。“信息資源日益成為國傢重要的生產要素和社會財富,信息掌握的多寡成為國傢軟實力和競爭力的重要標志”。以前類似的話也講過很多,現在大傢引用比較多的是美國人講的“數據將成為如土地、石油和資本一樣,成為經濟運行的根本性資源”。但任何資源要真正變為有價值的資源有兩個條件,一個條件是有技術手段能夠把資源挖掘出來,另外它本身要有明確的需求,能夠產生價值。過去大數據實際上也都存在,但沒有技術手段或者說不能匯集起來。現在互聯網出來以後大數據就出來瞭,因為有技術能夠處理它、能夠分析它。另外現在尋找大數據的價值在什麼地方。這兩個條件才成為數據變成資源的強力條件。目前在技術手段方面、在需求尋找價值方面,互聯網特別是移動互聯網出現以後,具備瞭這樣的條件,所以大數據成為瞭大傢特別關註的話題。

  大數據變成資源的話必須有一個渠道,大數據不僅僅是數據規模大,還有4V特征,從觀念、技術、價值、資源這四個方面來全面地認識大數據。資源角度來講除瞭具有4V特征外,還需要看到現在大數據技術在趨於或者有一部分已經具有應用價值的價值,但是還在發展當中。大數據實際上是會使我們改變認知事物的方法。大數據的采集、存儲、管理、分析、展現、可視化這方面已經有很多解決方案和技術出現。再有就是價值,一方面是各行各業的應用,另一方面大數據本身會產生完整的產業鏈,從技術到服務。我認為要從這四個方面完整地認識它才完整。

  大數據的機遇。大數據給我們帶來的意義,建立瞭促進全社會樹立信息是資源、是財富、是生產要素的觀念。在1997年的時候,當時制定推進國傢信息化六要素的時候曾經講過一句話“信息資源的開發是信息化的核心要素”,做瞭那麼多年的信息化實踐,這個問題在認識和實踐上仍然是薄弱環節。大數據浪潮全社會都重視起來,大數據是財富、是生產要素的觀念已經建立起來瞭。

  現在在網絡精準營銷上,大數據都做瞭很多工作。而且工作正在往非物聯網企業,傳統的企業,特別是政府領域擴散,大傢利用自己掌握的數據,包括大數據,有些不嚴格意義上是大數據,但是也重視它的挖掘、利用、開發。互聯網企業正在攜大數據跨界融合的趨勢,在影響傳統的行業加速到數據應用,全面的提升全社會自動化水平。

  政府應該在大數據方面加快研究做一點事兒。第一是加快技術創新與擴散,做更好的平臺,我們現在有很好的創新,我們專傢委做瞭一個題目,信息產業技術的形成,我國在自主創新方面能夠完成整個產業鏈的自主創新競爭力的形成,這是非常值得總結的。這裡最重要的政產學研民這五個方面的體系打通瞭,這個產業鏈才能真正搞成。另外政府本身在電子政務中要用到大數據,開放數據也特別重要,特定數據保護特別是個人隱私的保護訪問這方面還要進一步做工作。

  面向服務的大數據技術應用

  首先說三個關鍵詞:大數據量、實時數據處理技術、服務。為什麼出現瞭大數據量是由於電子化的普遍出現,企業的角度來說已經積累瞭大量的電子數據,大量的電子數據再利用、再挖掘應用在社會上於是戶出現瞭大數據量。平時生活中大數據自古以來就存在,隻是原來沒有被電子化、信息化、結構化,所以大傢對它茫然不知。現在隨著技術出來瞭以後,這些數據越來越多的湧現出來。大數據存在,當電子化以後會產生更多更大量的數據,當集成使用的時候,這些都湧現出來瞭。

  目前社會上數據量以幾何數每天都在爆發。如何處理這些數據呢?以前都是把數據存到硬盤上、存到磁盤上做,需要傳統的技術。現在更新的技術所謂的實時把數據的處理放在內存當中去。以前內存主要用於數學運算,隨著硬件系統成本的下降,以及一些架構技術上的突破。現在利用新的技術把數據的查詢和處理都放在內存當中,和下面的磁盤幾乎不發生關系。於是這種快速的查詢方法給大數據的處理帶來瞭技術上的可能。這是大數據的處理技術,這個技術可以幫助各行各業進行大規模的、有目的、有秩序的數據處理。

  終歸這兩項都面對於服務。大數據到底是用來做什麼?現在大數據處理技術是多種多樣五花八門的,要處理什麼反而是最關鍵的。現在都離不開互聯網,以前信息化世界是二維世界,一方面用於數據處理,一方面是數據處理的革命。這兩個互相推動往前走,信息化大量的時間是從有紙化變成瞭無紙化。也聽瞭很多抱怨,IT系統眾多不便。以前我們處在二維世界,一個信息技術、一堆死的數據。互聯網帶來給我們顛覆性的認知。

  面向服務,未來大數據不管是移動互聯網應用,還是互聯網應用,還是企業級的應用,如果你的服務方式沒有發生顛覆性,那麼你的這種創新可能根據美國哈佛教授所說,可能是持續性、改良性的創新,真正有生產力的是顛覆式的創新,服務方式都顛覆瞭,這種創新使用信息處理技術才有真正實際意義。

  總之大數據平臺必須是由業務驅動的,能夠在異構環境裡集成,現在各種各樣的信息化技術,不可能統一在一個平臺,必須是能夠集成、異構的,最後是面向服務的。這是SAP多年來一貫的觀點和主張。

  數據虛擬化大數據平臺之利器

  信息技術到底是有哪幾個主要的構件。從下往上看有網絡、計算、存儲、數據、應用、業務,與其相關的有軟件、硬件產業。這些這並不是信息產業一開始的概念,70多年前幾乎是圍繞著計算為中心的產業,所有做計算的人,CPU、芯片是整個信息產業的主要力量。這帶來瞭很大的挑戰,圍繞著信息解決它的特殊問題的應用,每一個都建立瞭自己獨立的數據。網絡當時隻是一個附加的功能,所以網絡有很多很多技術、很多很多架構、很多很多協議,這帶來瞭很大很大的問題。另外一個產業當時也做網絡,當時把這些稱之為通信公司,真正做計算的我們叫做IT公司。

  網絡技術對計算技術帶來瞭沖擊。從70年前所謂的信息產業產生時就有定律,計算講的非常簡單,就是追求更快,處理能力更大,英特爾不斷的用CPU加速來做,那個方向是超級計算、高性能計算,沒有朝著那個方向走,反過來是網絡對計算有巨大的沖擊和影響,不需要走那麼精密精確控制的計算方式,而是走向瞭網絡計算也就是所謂的雲計算。雲計算的產生某種產生是融合網絡的條件下產生的融化效果。這樣梳理我們發現IT產業由孤立的、煙囪式的方式走向瞭融合的網絡融合的大潮,過去我們發現幾個重要現象,IT的飛速發展大傢都認為是因為“摩爾定律”的貢獻,當時摩爾定律說每18個月計算的性能就提高一倍,這個定律在我看來在信息產業的70年的歷史中,幾乎60年都絕對正確和成立。但是過去10年,如果你仔細觀察,發現有些現象不一樣。

  怎麼解決這個問題?應該回到問題的根本。數據以前就有,現在所謂的大數據和以前不一樣的關鍵點在於有瞭統一融合的網絡平臺。換句話說數據不但有冷熱之分,數據還因為網絡而有瞭生命,數據因為有瞭網絡個體的數據可以變成整體的數據,破碎的數據可以變成互聯的數據,衰老的數據可以變成鮮活的數據,數據是有它的生命周期的,這個基本原因是數據生活在網絡平臺上,網絡是大數據應用的血液和神經。從這個角度來講,我們解決問題的基本出發點非常簡單。所有的數據都是現實,我們必須面對主要的方法是什麼?就是數據虛擬化,數據虛擬化是IT產業界走過的網絡虛擬化、計算虛擬化的進一步,所謂虛擬化非常簡單,是把物理資源和邏輯資源相分離,換句話說數據可能存在在網絡的各個角落、各處都有,各個應用都有。統一放在一個數據倉庫,不單耗時、耗經費,而且有時候基本是不可能的。所以傳統的思維方法把數據清洗、數據統一是耗時耗力的,甚至把這些做成以後,可能計算已經變瞭,因為我們的速度是由摩爾定律加上網絡定律雙能驅動,所以在這個基礎上,我們仍然可以有這麼一個概念,就是所謂的數據虛擬化,數據邏輯上可以集中,便於管理、便於使用,但是物理上存在於網絡的各個渠道。

  信息產業的驅動不是傳統,六七十年都認為的真理,計算性能提高的驅動力,還有另外一個獨立的驅動力——網絡驅動力。所以信息產業是雙輪驅動,現在網絡驅動力量更大。這兩個驅動力為大數據應用提供瞭前提和保證。網絡為大數據提供瞭生存空間和生命價值。

  大數據面臨的,無論你是應用開發者、軟件開發者、大數據的使用者、管理者或者大數據的挖掘者,都會發現你們面臨更多格式、更多接口、更多新技術,說好聽的是百傢爭鳴、百花齊放的大數據時代,悲觀地說它是混亂的、復雜的、麻煩的時代。但這種時代正好給我們創新的機會,希望在座的年輕人,這是我們展現自己創新和勇氣的時刻,在技術大轉彎的時代,技術戰略、遠見、勇氣容易幫助你,助你成功。

  IT的大方向,融合的網絡、計算的融合,大數據最終會走向相對虛擬化以後的一體化平臺,相互之間是在影響,思科公司剛好在這個領域有幸能夠做這樣的推動工作,帶動整個產業向未來的十年發展。