大數據應該怎么學

大數據應該怎么學

大數據應該怎么學？利用大數據進行分析，大致是需要六個過程，提出問題——問題分析——數據準備——數據分析——產生報告——提出方案，大數據分析，主要是圍繞這六個進行開展。以下是小編為你整理的大數據應該怎么學

進行大數據分析，雖說各個行業(yè)都不一定相同，但是基本思路都是一樣的，分析的對象有：市場，用戶，渠道，效果，這幾大類，如果有條件還可以進行分支拓展。

對市場/行業(yè)進行大數據收集，分析：比如說，數據收集的方向，可以從大方向以及小方向進行，大的方向可以從政治，經濟，社會，技術這幾個入手，小方向可以從產品分析。

對于用戶的調查，可以開展用戶畫像，數據內容包括：身份，行為，居住，交際圈等，往小了分，還有可以分為年齡，性別，學歷，消費情況，興趣愛好，在哪些圈子等等....

對產品進行數據分析，可以從人群——市場——渠道——產品，這四個輪回，通過人群，可以得到市場，通過渠道可以得到人群，通過人群又可以得到產品的使用情況。

要進行大數據分析，光有上面還是不夠的，還需要進行一個營銷效果的分析，分析的方向，包括用戶的行為，渠道的流量變化，以及一個最終的成本收益，投資回報率等。

根據對營銷效果的分析，從而可以分析出不同渠道的一個流量以及收益情況，從中就可以篩選出渠道的優(yōu)勢以及劣勢，再集中匯集跟分析報告，這樣就可以定出方案了。

何為用戶行為信息

簡單地說，就是用戶在網站上發(fā)生的所有行為，如搜索、瀏覽、打分、點評、加入購物筐、取出購物筐、加入期待列表、購買、使用減價券和退貨等;甚至包括在第三方網站上的相關行為，如比價、看相關評測、參與討論、社交媒體上的交流、與好友互動等。

對客戶進行多維度地分析，以用戶的地域、性別、年齡等人文屬性建立分析維度，把所有的團購信息進行篩選，這樣可以簡單地把EDM的相關性大幅提高，起碼用戶收到的郵件是基本在住宅、工作場所附近，和自己的普通屬性相關的，可能有一些興趣的商品。

對客戶過去是否有點擊，是否有購買，購買的產品價值，購買的頻率，最近一次什么時候購買等屬性進行量化，產生客戶價值的評分，把客戶分出價值的高低，對推薦的接受難易程度作出評估，依據這些評分來決定多頻繁對該客戶進行EDM操作，以及推薦的商品的細類，以提高反饋率。

對購買過商品客戶的購買記錄，以及點擊過的商品記錄進行分析，對團購的折扣比例，商品原價，折扣金額，團購時間長短，能否退款，是否單人使用，風格等等分別打分、統(tǒng)計、歸類，以對客戶的可能興趣點進行“預測”，這是一個相對高級、相對復雜的過程，但是運用得好的話會收到非常良好的效果。

考慮在所有推薦的商品旁邊增加一個“不喜歡”的按鈕，收集客戶不喜歡的東西對個性化推薦來說具有幾乎和喜歡的商品一樣重要的價值，假設一個客戶告訴你他不喜歡一款49元的西餐廳的雙人午餐，可能比他點擊甚至購買另外一個99元日餐雙人套餐給你透露的信息還要多。

因此無論從什么角度來說，電子商務和團購都還有大量的優(yōu)化空間，我相信以大數據為核心的個性化營銷則是幫助電商在這場紅海大戰(zhàn)中贏得戰(zhàn)役的利劍。

可視化分析

大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對于大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單。

數據挖掘算法：大數據分析的理論核心就是數據挖掘算法，各種數據挖掘的算法基于不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統(tǒng)計學家所公認的各種 統(tǒng)計方法，才能深入數據內部，挖掘出公道的價值，另外一個方面也是y因為有這些數據挖掘的算法才能更快的處理大數據。

預測性分析能力：大數據分析最重要的應用領域之一就是預測性分析，從大數據種挖掘出特點，通過科學的建立模型，之后便可以通過模型帶入新的數據，從而預測未來的數據。

語義引擎：大數據分析廣泛應用于網絡數據挖掘，可從用戶的檢索關鍵詞，標簽關鍵詞或其他輸入語義，分析，判斷用戶需求。從而實現更好的用戶體驗和廣告匹配。

數據質量和數據管理：大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業(yè)應用領域，都能夠保證分析結果的真實和有價值。大數據分析的基礎就是以上5個方面。

硬盤故障預測

硬盤是服務器硬件故障率最高的一個部件，如果能提前預測到硬盤故障，對業(yè)務體驗、完善備件管理都有莫大的收益。這也是基礎架構運營在經歷自動化、流程化后，需要進一步提升運營效率、降低運營成本的天然要求。

涉及硬盤的運營數據包括業(yè)務IO數據、硬盤內部的SMART和硬盤運行的環(huán)境變量數據(溫度和濕度)。目前，運營系統(tǒng)對IO數據是每小時采集一次，SMART數據每三小時采集一次，溫度和濕度每半小時采集一次，這些數據合計起來每天的記錄數上億條。

服務器利用率分析

是某業(yè)務某機型磁盤IO的利用率統(tǒng)計分析圖。分析過程如下：存儲類機型，看到一段時間統(tǒng)計出來的IO的利用率并不高，并且是寫少讀多的應用，是否可以考慮使用IOPS相對不高的廉價硬盤?還是業(yè)務的架構存在優(yōu)化的空間?

服務器利用率分析給運營帶來的好處在于：

1)結合業(yè)務模型，發(fā)現業(yè)務應用服務器的短板，在發(fā)現并修復系統(tǒng)架構缺陷的同時，提高整體利用率;

2)對機型選型的優(yōu)化，例如對于磁盤容量使用率不高的機型，在后續(xù)的機型定制中減少硬盤的數量。

故障率分析

服務器故障分析對服務器的各個部件的故障率都做了分析和監(jiān)控，包括生成月度故障率報表;

故障率異常的實時監(jiān)控和自動告警;

分析外部條件與故障率的關系;

與OS的軟件告警信息聯動起來，及時發(fā)現服務器的亞健康狀態(tài)。

是某服務器硬件最近幾周的故障率統(tǒng)計信息。按部件給出各個機型的故障率情況，及時發(fā)現批次性故障并給出告警

環(huán)境監(jiān)控

如果能把機房環(huán)境溫度有效的監(jiān)控起來，我們就能在發(fā)現異常時發(fā)出高溫告警，提前采取措施。對服務器入風口溫度進行采集和監(jiān)控是一個較為有效的方案。

顯示服務器入風口溫度變化的異常情況，經過數據的規(guī)整和誤差修正，產生了高溫告警。通過自動化流程，及時知會到機房現場負責人。

      注：尊重原創(chuàng)文章,轉載請注明出處和鏈接 http://m.elsolbar.com/news-id-54363.html 違者必究！部分文章來源于網絡由培訓無憂網編輯部人員整理發(fā)布,內容真實性請自行核實或聯系我們，了解更多相關資訊請關注數據庫工程師頻道查看更多，了解相關專業(yè)課程信息您可在線咨詢也可免費申請試課。關注官方微信了解更多：150 3333 6050