如果在百度谷歌去搜索“大數(shù)據(jù)”，你會發(fā)現(xiàn)，大數(shù)據(jù)包括三個V，第一個V數(shù)據(jù)量足夠大;第二個V是指數(shù)據(jù)的種類非常多、結(jié)構(gòu)復(fù)雜;第三個V則是對于數(shù)據(jù)的實時性要求非常高。所以，擁有大量的數(shù)據(jù)，能夠快速將這些數(shù)據(jù)進行抽取，挖掘，分析，并且可供擁有者實時訪問，調(diào)用，能夠滿足其實際需求，這就是大數(shù)據(jù)。
大數(shù)據(jù)的出現(xiàn)與互聯(lián)網(wǎng)的發(fā)展息息相關(guān)，從搜索引擎、社交網(wǎng)站到移動終端，互聯(lián)網(wǎng)上的信息總量正以每年50%的增速不斷膨脹，其中90%的信息來自近三年，包括每個月Facebook上分享的30億條內(nèi)容，每天12TB的Twitter信息，每天淘寶上超過30億條店鋪、商品瀏覽記錄以及上千萬的成交、收藏記錄等等。據(jù)IDC統(tǒng)計，2011年全球所產(chǎn)生的數(shù)據(jù)總量是1.8ZB(10的21次方)，如果把這些數(shù)據(jù)刻錄到CD此片中門起摞起來的高度等于地球到月球的距離!
大數(shù)據(jù)沒有限定的數(shù)量，比如多少TB，或者EB的數(shù)據(jù)。若是中小企業(yè)用戶，可能企業(yè)內(nèi)部只有十幾、二十幾個人，那么十個TB對這個企業(yè)來說就是大數(shù)據(jù)了，所以大數(shù)據(jù)的概念因人而異。工信部十二五的物聯(lián)網(wǎng)規(guī)劃引人注意，其中包括海量級的數(shù)據(jù)存儲，數(shù)據(jù)挖掘，圖象視頻的智能分析，以及信息感知和信息傳輸，這些規(guī)劃提供了一個警示信號，即大數(shù)據(jù)是未來的發(fā)展方向，所以在此后的一段時間內(nèi)，熱門話題會是大數(shù)據(jù)、云存儲、以及對象存儲。這些都是在存儲或者計算領(lǐng)域熱門的話題。
大數(shù)據(jù)——數(shù)據(jù)管理“令人不安”
“大數(shù)據(jù)”是大勢所趨。縱觀整個數(shù)據(jù)市場，甚至存儲市場，用戶的數(shù)據(jù)量正呈現(xiàn)出爆炸式的增長態(tài)勢。大概四、五年前，一個郵件系統(tǒng)用終端存儲就可以滿足一個中等規(guī)模企業(yè)的需要，數(shù)據(jù)量大概在30-50T。隨著企業(yè)員工數(shù)量逐年增長，郵件系統(tǒng)的空間也呈爆炸式增長，由于人員溝通之間郵件更容易成為溝通的橋梁，郵件的附件越來越大，郵件系統(tǒng)的數(shù)據(jù)量亦隨之水漲船高。現(xiàn)在該企業(yè)的數(shù)據(jù)量恐怕已增長到2.5PB甚至更多，需要添置一臺存儲設(shè)備或是幾臺儲備設(shè)備做郵件系統(tǒng)，可見存儲需求量增長之快。
盡管大數(shù)據(jù)的產(chǎn)生多半是因為企業(yè)發(fā)展及數(shù)據(jù)產(chǎn)生的種類多元化這個“大環(huán)境”所致，但是面對這些快速增長的大數(shù)據(jù)所暴露出的問題還是讓企業(yè)管理者們不安。到底該如何管理這些大數(shù)據(jù)？如何進行安全有效的保護？出現(xiàn)問題時怎樣進行恢復(fù)？這些都是企業(yè)待解的難題。
第一、在大數(shù)據(jù)愈演愈烈之時，對于企業(yè)來說，如何經(jīng)濟、高效訪問數(shù)據(jù)值得探討。并非購買了最高端的存儲，更昂貴的備份存儲就可以高枕無憂，如何經(jīng)濟、高效的訪問數(shù)據(jù)才是企業(yè)目前需要研究的課題之一。通常情況下，按照數(shù)據(jù)被訪問頻率的高低，可以將這些大數(shù)據(jù)分為熱數(shù)據(jù)和冷數(shù)據(jù)，熱點數(shù)據(jù)放在昂貴的介質(zhì)上沒有任何異議，但是冷數(shù)據(jù)放在昂貴的介質(zhì)上面則會導(dǎo)致IT建設(shè)成本上升，是一種浪費。所以如何將冷、熱數(shù)據(jù)進行分層存儲，既能優(yōu)化存儲系統(tǒng)的性能，又可以有效地降低存儲系統(tǒng)的整體擁有成本，實現(xiàn)一舉兩得是企業(yè)的突破方向。
第二，如何組織、檢索、存儲、處理分析這些大數(shù)據(jù)。最近開展的題為“大數(shù)據(jù)：商業(yè)領(lǐng)袖們的經(jīng)驗”的全球調(diào)查發(fā)現(xiàn)，稿營收企業(yè)的成功與明確的數(shù)據(jù)戰(zhàn)略之間有著極強的關(guān)聯(lián)性。大數(shù)據(jù)的時代迎面襲來，企業(yè)重視大數(shù)據(jù)的潛在價值只是一個良好的開始，如何應(yīng)對海量數(shù)據(jù)在管理方面的挑戰(zhàn)才是企業(yè)至關(guān)重要的策略之一。
第三，數(shù)據(jù)備份。數(shù)據(jù)備份可謂“老生常談”，大家一直在談數(shù)據(jù)需要備份，備份是企業(yè)最后的保障、最后的一個利器，可以保護企業(yè)的系統(tǒng)依然有數(shù)據(jù)可用。10年前的“9.11”事件，早給過我們慘痛的教訓(xùn)：世貿(mào)中心中大約2/3企業(yè)因為未做數(shù)據(jù)備份而導(dǎo)致徹底倒閉。無獨有偶，就在前不久前，雅虎日本服務(wù)器系統(tǒng)發(fā)生故障，導(dǎo)致近5700家企業(yè)數(shù)據(jù)丟失，除了小林制藥這樣日常進行數(shù)據(jù)備份的用戶可以在幾天之內(nèi)恢復(fù)數(shù)據(jù)外，其他用戶的數(shù)據(jù)絕無回復(fù)的可能，其損失可謂“慘重”。一個企業(yè)的數(shù)據(jù)信息決定著企業(yè)的生死存亡。但是今天，數(shù)據(jù)量的持續(xù)增長增加了備份和恢復(fù)的時間，是企業(yè)面臨著嚴(yán)重的合規(guī)和宕機風(fēng)險，數(shù)據(jù)備份卻越來越困難。用戶數(shù)據(jù)量越來越大，備份時間窗口又那么小，設(shè)備又是有限的，怎樣快速把大數(shù)據(jù)中的核心數(shù)據(jù)抽取出來，保障企業(yè)數(shù)據(jù)信息能夠適時進行恢復(fù)，成為企業(yè)CIO們共同考量的當(dāng)務(wù)之急。
第四、重復(fù)數(shù)據(jù)刪除。由于存儲經(jīng)理們繼續(xù)降低備份數(shù)據(jù)量，重復(fù)數(shù)據(jù)刪除技術(shù)從而一度成為熱門的技術(shù)，但盡管這個話題已經(jīng)“風(fēng)靡”了多年，近三、五年的時間大家都在講重復(fù)數(shù)據(jù)的刪除。基本上主流的廠商和用戶能夠接受的還是把帶庫刪除。如周一到周五的數(shù)據(jù)一樣，就把重復(fù)的數(shù)據(jù)刪掉，以后每天把增量的數(shù)據(jù)保存。但是有一些廠家也提倡在線存儲刪除，這也可行。只是現(xiàn)在某些技術(shù)尚不完全成熟，所以現(xiàn)在的重復(fù)數(shù)據(jù)刪除重點還是在備份領(lǐng)域涉獵較多。
第五，如何節(jié)省電力、節(jié)約空間、節(jié)約成本等。面臨數(shù)據(jù)爆炸式增長帶來的問題，我們將怎么樣節(jié)省電力、空間、成本呢？近幾年企業(yè)在采購存儲時，會發(fā)現(xiàn)存儲硬件的成本在逐年走低。回顧過去，硬盤價格都是高高在上的，而現(xiàn)在不管是傳統(tǒng)的機械硬盤還是SSD(固態(tài)硬盤)都開始變得越發(fā)“親民”，而價格更低的同時容量卻更高了。但是，對于很多企業(yè)來說，整體的存儲成本卻不降反升，原因就是存儲的管理成本在逐年走高。因為大數(shù)據(jù)的接茬大漲需要大量的人力管理和維護，所以如何節(jié)約IT資源，減少IT人員的壓力等也是現(xiàn)在企業(yè)需要考慮的因素。
隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)信息日益重要，數(shù)據(jù)保護問題日漸突出，各種災(zāi)難性事件給用戶敲醒很多警鐘。數(shù)據(jù)保護，數(shù)據(jù)的容災(zāi)是非常重要的話題。以前的數(shù)據(jù)容災(zāi)，都是拿盤陣來做，從A復(fù)制到B，A壞了到B上去，是一個“有甚于無”的方案，屬于一種保護機制。但是今天的企業(yè)要求更加完善的數(shù)據(jù)保護系統(tǒng)，很多企業(yè)已經(jīng)開始完成了備份數(shù)據(jù)的容災(zāi)。所以，在備份數(shù)據(jù)方面企業(yè)會面臨很多問題，比如生產(chǎn)系統(tǒng)一般都是在白天運行，或者高峰是在白天去運行，夜間可能有三、五個小時時間窗口，這些窗口怎樣在最短時間之內(nèi)把盡可能做的數(shù)據(jù)備份出來，是用戶面臨的問題。
另外是災(zāi)難恢復(fù)。當(dāng)發(fā)生災(zāi)難能否通過盤陣的方式、通過備份的方式恢復(fù)數(shù)據(jù)。現(xiàn)在很多企業(yè)非常關(guān)注的是，能否把分支機構(gòu)也保護起來。例如，國美大中蘇寧，這種零售企業(yè)，在全國每一個省都會有很小的數(shù)據(jù)中心或是小型機房。里面有獨立的一些數(shù)據(jù)，這些數(shù)據(jù)能否集中備份到總部統(tǒng)一保護起來，以最低的成本保護這些“大數(shù)據(jù)”。
最后就是恢復(fù)的時間問題。很多企業(yè)在考慮備份時往往會忽略這點，從而導(dǎo)致發(fā)生災(zāi)難或是意外事件時數(shù)據(jù)恢復(fù)時間過長，嚴(yán)重影響企業(yè)生產(chǎn)系統(tǒng)的正常運行。所以，大數(shù)據(jù)的挑戰(zhàn)就是備份的窗口。
大數(shù)據(jù)在給行業(yè)帶來巨大商業(yè)價值的同時也帶來了一系列的“疑難雜癥”，面對這些大困惑，我們又該如何應(yīng)對呢？
談到大數(shù)據(jù)，現(xiàn)在很多企業(yè)都有若干個分支機構(gòu)，以前用戶對分制機構(gòu)進行保護的時候拿盤陣來做或者拿物理磁帶通過汽車搬運到其他地方，這樣做既增加人力又消費時間，而且效率很低，恢復(fù)起來效果也特別差。所以，大數(shù)據(jù)環(huán)境下的數(shù)據(jù)保護是一個非常完整的解決方案，譬如，企業(yè)擁有一個很小的分支機構(gòu)，可能是一個分公司或者是其中一個站點。數(shù)據(jù)會很多，企業(yè)有可能各分機構(gòu)也有一個虛擬帶庫設(shè)備，如果是很小的分支機構(gòu)，有虛擬的帶庫設(shè)備，可以先備份當(dāng)中，然后有這個設(shè)備自動的通過很窄的廣域網(wǎng)復(fù)制到虛擬帶庫里面去。如果企業(yè)的數(shù)據(jù)中心沒有這樣的虛擬帶庫設(shè)備，要減少成本，而只有服務(wù)器，也沒有任何問題，只要自動的把數(shù)據(jù)在源端進行重復(fù)數(shù)據(jù)的刪除，刪除完成以后，將這些重復(fù)數(shù)據(jù)刪除以后的數(shù)據(jù)遠端傳到總部的數(shù)據(jù)中心，這樣來實現(xiàn)數(shù)據(jù)保護，同時企業(yè)還可以再復(fù)制另外一份，從一個數(shù)據(jù)中心復(fù)制到另外一個數(shù)據(jù)中心，而且這個復(fù)制過程是不需要把數(shù)據(jù)做完整性恢復(fù)的。A到B傳遞數(shù)據(jù)的時候，已經(jīng)把重復(fù)數(shù)據(jù)刪掉傳過去，但是對于重復(fù)數(shù)據(jù)刪除1.0的技術(shù)來說，要把這一份數(shù)據(jù)傳過去要恢復(fù)成完整的數(shù)據(jù)，以前需要有一個服務(wù)器，把所有的完整數(shù)據(jù)算出來以后才能夠傳到另外一個上面，現(xiàn)在企業(yè)需要做的只需要傳遞一份數(shù)據(jù)，而且是沒有重復(fù)的，這會大大降低企業(yè)在數(shù)據(jù)保護上的成本。
小結(jié)：
在大數(shù)據(jù)時代，盡管這些快速增長的海量數(shù)據(jù)所引發(fā)的一系列蹩腳問題，足以讓CIO們感到炙手可熱，但是管理這些數(shù)據(jù)所帶來的幾多挑戰(zhàn)并不能令人窒息。完整的數(shù)據(jù)保護解決方案或許能夠成為“成人之美”的一劑良藥。畢竟，實踐是檢驗真理的唯一標(biāo)準(zhǔn)，這的確是不易之論……
.