通常，企業裡面到處都充斥著資料。事實上各行各業的資料量均經歷了幾何級數的增長，無論是醫療衛生還是金融，抑或是零售業還是製造業。
在此類海量資料庫中，隱藏著無數商業秘密，也孕育著很多機遇以及潛在的成功。但將這些資訊（除了由媒體和視頻生成的非結構化資訊之外，還包括歷史資料）利用起來卻是一項令人望而生畏的工程。
“許多組織會累積30 年或30 年以上的交易資料，此外還有大量多媒體資料。”埃森哲諮詢公司首席技術策略官兼總經理柯帝士(Gary Curtis) 說，“綜合所有資訊並理出頭緒是企業在數碼時代面臨的挑戰。目前很少有組織能夠充分發揮其資料的潛力。”
不可否認的是，這是一項艱巨的挑戰。CorporateExecutiveBoard 諮詢公司在對5,000 家公司進行了一項研究後發現，儘管對資料進行分析並獲得有效資訊的能力已成為全球各組織的頭等大事，但是真正在這方面取得顯著成績的公司並不多見。
根據CEB 的研究結果，僅有38% 的員工和50% 的高級經理有能力根據資料進行合理決策。在許多組織中，最大的風險來自過度分析。超過40% 的員工更願意相信分析結果而非自己的判斷力，只有近20% 的員工會依直覺行事。
在今天這樣一個數字驅動的大環境下，企業必須能夠制定周密計畫並且實施可行的解決方案以管理大資料。“這是無法回避的—資料涉及各行各業。”印度塔塔諮詢服務公司(Tata Consultancy Services) 的全球顧問實踐資訊管理總監維斯瓦納桑(Kalyan Viswanathan) 強調說，“大資料正在改變業務，並且創造新的風險以及機遇。明智的組織都在尋找對其進行有效利用的方式。”
從電腦應用誕生之日起，各公司就一直在尋找對不斷增長的資料加以管理和利用的方法。包含更多資訊和更多關聯點的大資料正處在這一潮流的核心。據麥肯錫諮詢公司估計，普通大型企業目前儲存的資料量已達到200TB 。
各公司必須設法處理急速增長的非系統化資料，傳統資料庫或資料倉庫並不適合管理這類資料。埃森哲的柯帝士表示，“公在過去數年間，司資料來源的種類變得極為繁多”。
大資料可釋放資料背後潛藏的價值。它能讓資料更加透明，更多地被應用於日常業務；它能借助更多更廣泛的資料組給企業提供諸多洞見；它能創建更多的細分市場，以便公司制定更具針對性的行銷活動和銷售技巧；它能説明公司匯總所有資訊，設計出本來可能會被忽略的新產品和服務。有效運用大資料的組織往往能夠獲得顯著的競爭優勢，並挖掘出新的商機。
但是處理大資料並不等於只是安裝一套系統，然後就能自動獲得結果。企業需要使用正確的技術和工具，制定合適的工作流程和政策，物色善於使用分析法和預測分析軟體的人才，從而打造產品和服務以滿足瞬息萬變的市場需求。
“大資料的處理需要企業在資料倉庫、資料整合、商業智慧、資料視覺化工具、商業分析法和預測建模上大量投入。”塔塔諮詢的維斯瓦納桑如是說，“此外還需要應用運算法則從而能夠發現其中的各種規律、關聯和關係。”
互聯網零售商和服務供應商亞馬遜(Amazon) 是在管理大資料方面處於領先的公司之一。很顯然，公司面對無窮龐大的資料量，非常需要利用這些資料去瞭解客戶行為，改善運營品質和成本，推出創新性的產品功能，並最終提高公司收益。
亞馬遜Elastic Map Reduce (EMR) 計畫的總經理西羅塔(PeterSirota) 表示，亞馬遜依靠其可擴展的環境( 包括雲資源)，只需數分鐘或數小時（而非數天或數周）即可得出結論和答案。
“Amazon.com 採用多種資料來源，包括來自多個應用伺服器上的非結構化或者半結構化的記錄檔，以及來自多種資料庫系統的結構化資料，”西羅塔說。這一環境同樣也允許亞馬遜及其客戶“存儲和處理各種類型的資料，包括圖像、視頻、DNA 序列和天氣感測器資料以及從協力廠商來源( 例如Twitter 、Facebook 和Salesforce) 採集的資料..以更妥善地管理產品資料庫，並且分析有助於提高運營業績的指標”。
這家觸角遍及全球的線上巨頭依靠開源的Apache Hadoop 進行分散式處理( 包括非結構化資料)。
此外，關係型數據庫管理系統(RDBMS) 能夠讓亞馬遜製作各種報告，並針對既定的問題對結構化資料進行優化查詢。
“Hadoop 和RDBMS 是互補性的技術，”西羅塔說。此外，通過亞馬遜的簡單存儲服務(Amazon S3) 存儲超大量的資料，再加上內嵌的資料處理、分析和搜索工具，亞馬遜為其內部運營和使用其服務的週邊公司改寫了大資料技術的應用領域。
西羅塔指出，雲技術大大改變了大資料技術的應用前景。“你可以更快地從資料中得出有用的結果，而所付出的成本是如此之低，這讓傳統技術望塵莫及。”他說道。
“雲技術提供了即時擴展性和彈性。該技術能讓你能更快地就所關注的資料問題提出疑問，並迅速獲得有意義的解答。定期、全面地對大資料進行分析將有可能轉變你與客戶互動並做出反應的方式。”
越來越多的公司和政府機構正轉而採用大資料技術來重新設計其業務模式。塔塔諮詢的維斯瓦納桑表示，廣告商正從堆積如山的資料中篩選出有效資訊，以便更透徹地認識顧客的購買行為以及提升業績的方式。零售商則綜合客戶行為、心理圖表和客戶生命週期事件以創建更精確的檔案。
金融服務公司在多種資料點之間找到關聯，以便推出新服務和更有效地銷售現有服務。醫療衛生服務的提供商則使用大資料技術改善業績和成本結構。
在已經接納該概念的公司中包括風能技術企業維斯塔斯(Vestas Wind Systems) 。這家來自丹麥蘭訥斯的公司在全球67 個國家和地區部署了44,000 多個渦輪發電機，它使用大量資料集以便更好地發現在哪裡安放渦輪發電機才能達到最佳效果。
據維斯塔斯負責工廠選址和預測的副總裁克裡斯滕森(Lars Christian Christensen) 說，他們分析了178 個參數，包括雲量、濕度、太陽輻射、衛星圖像、毀林圖和大氣壓。除此之外，研究人員還必須以小時為單位查看過去12 年間的參數。“那是一個巨大的多維資訊體系，”他說。
維斯塔斯採用了IBM 提供的大資料分析系統來解析資料庫，該資料庫存儲的資料量預期將在四年之內突破20PB 。以前，分析師可能要花數周時間，消耗大量資源才能梳理完這些堆積如山的資料。
如今，維斯塔斯擁有了一台名為Firestorm 的超級電腦，它由1,222 台工作負載優化的System x iDataPlex 聯機服務器組成，公司便在Firestorm 上運行IBM BigInsights 軟體。這台超級電腦每秒可進行150 萬億次運算，不到一個小時就能通過對資料組的分析確定安放渦輪發電機的最佳地點。
“我們能夠更快地向客戶提供答案，以更有效地幫助他們更有效地進行決策並制定創收方案。” 克裡斯滕森說, “該系統大大降低了規劃流程的複雜度。我們處理資料的方式和整個分析流程都發生了變化。”
埃森哲的柯帝士指出，大資料給企業帶來了一些獨特的挑戰。舉例來說，企業必須決定如何將多種不同的資料集聯繫在一起從而獲得新的認識。這需要分析師和業務專家發揮創造性思維。
另一方面，組織必須採集不同形式的非結構化資料，包括視頻片段、“必音訊檔和媒體源。須有一種方式找到這些檔，瞭解它們提供了哪些資料，以及如何對這些資料進行有效利用。”柯帝士說。儘管與之相關的技術已經存在——其中包括中繼資料的應用——不過這一領域仍在不斷發展演變。
企業還必須解決資料管理方面的問題，尤其是哪些業務部門應當擁有和管理資料以及誰有權獲取資料。旗下有不同業務部門( 例如零售銀行、商業銀行、理財、經紀和其他服務) 的金融公司更容易遇到這方面的挑戰。
在某些情況下，要進行清楚的劃分會不太容易，因為資料可能存在於某個業務合作夥伴或服務提供者運營的伺服器上。“關鍵是資料要得到有效管理，並得到很好的保存。”柯帝士說，“資料管理問題必須得到解決。”
整合社交媒體
公司也在尋求將社交媒體整合到大資料模型中。位於義大利米蘭的互聯網線上商業服務提供者Matrix 主要幫助各類公司制定數位化戰略，以用於品牌塑造和形象管理。其客戶從汽車製造商到餐廳都有。
Matrix 銷售總監派特萊拉(Alessandro Petrella) 表示，使用SAS Content Categorization 和SAS Text Miner 後，公司能夠精密監控和分析網路資訊、社交媒體交流和其他活動。
Matrix 不斷從500 多個新聞源和線上來源採集資料，並將資訊輸入Netezza 資料庫。公司隨後將資料登錄SAS 軟體，借助標準的業務分類法對其進行清|理和歸類。它還對其運算規則進行不斷改進，並定期加入新的資料元素。
該資料庫的總量目前已超過2TB ，它也越來越能夠有效地瞭解公眾對一個公司的認知和看法。派特萊拉說，“我們有能力高速且有效地處理資料。”
根據Ovum 諮詢公司針對企業高管進行的一份最新調查，多達三分之二的受訪者提到，利用大資料技術最重要的商業收益體現在運營和戰略決策流程的改善，以及客戶服務的改善。該調查還得出了同樣重要的的另一個發現：現在對大資料技術有興趣的已經不只是大企業。Ovum 發現，在資料倉庫容量達到1TB 甚至更大規模的公司中，有38% 的公司的年收入低於5, 000 萬美元。
Ovum 預測，由於各組織都在不斷尋求更好的辦法去分析客戶細分市場，防止客戶流失，管理公共交通網絡和處理大量其他的任務，在未來兩年內對於大資料的需求將變得更普遍。
埃森哲的柯帝士表示，所有組織( 尤其是IT 部門) 必須瞭解大資料的運作規律，然後制定出未來利用和管理此類資料的清晰戰略。他建議以亞馬遜、穀歌和雅虎這些公司為模型建立資料戰略。這些公司擁有世界上最大的資料中心，從他們那裡可以“窺探未來計算技術的前景”。
柯帝士還建議技術部門和業務部門的領導者進行合作，對大資料技術獲得全面的認知。“這裡必然存在一個相互學習的過程，”他指出，“要推動一個大資料項目目，他們必須一起協作。”
塔塔諮詢的維斯瓦納桑表示，儘管大資料技術還處於早期發展階段，但是它必將成為長遠的趨勢。“隨著消費者轉而使用智慧手機、平板電腦以及其他數位化設備，各公司累積的資料將越來越多。”
“引入大資料技術並加以有效運用的公司將獲得更明顯的競爭優勢。與幾年前不同，他們現在能夠更好地認識問題、把握趨勢。”
資料來源: Ziff Davis Enterprise Inc. 登記版權。秦嶺譯。Samuel Greengard 是Baseline 特約的自由作家。