構建高校大數據分析平臺的探索——以上海公安高等專科學校為例
構建高校大數據分析平臺的探索——以上海公安高等?？茖W校為例
隨著信息化建設的不斷推進，高校建設正由數字化校園向著智慧校園的方向邁進。信息化高度發(fā)展，給教學、科研、學習、生活帶來了高速便捷的服務，同時也長生了大量記錄高校日常管理和教學工作的數據，這些數據隨著時間的積累構成了一個龐大的大數據資源。這些資源具有很高的價值，如何讓這些數據發(fā)揮價值，為高校各項工作提供服務，是值得每一個學校思考的課題。
一、信息化發(fā)展現狀
公安教育信息化是培養(yǎng)高素質公安人才的根本要求，是開展教育訓練工作的實際需要，是順應公安信息化發(fā)展趨勢的必然選擇。上海公安高等?？茖W校作為上海公安教育訓練工作的主陣地，在校園信息化建設方面進行了積極的探索，由數字化校園正逐步向智慧校園邁進，在服務公安教育培訓、指導公安實戰(zhàn)等方面發(fā)揮了重要的作用。
1.信息化基礎設施建設
自2005年啟動第一個信息化五年規(guī)劃以來，我校信息化基礎設施水平不斷提升。目前公安網和教科網兩套網絡均成熟應用，公安網成為日常辦公的主要載體，無線網絡在校內已實現了全覆蓋，廣大師生均可免費使用。此外學校率先使用虛擬化等先進技術，運行了各類實體服務器107臺、虛擬服務器289臺，以及各類信息系統102個，其中郵件系統為全市5萬多名公安民警提供服務，是上海市公安局首個面向全局民警應用的郵件系統。
2.建成公安教育云服務平臺
2011年被評為上海市10家云計算應用培育單位之一，我校開啟了公安教育云服務平臺的建設工作。在綜合考慮公安實戰(zhàn)及公安教育的業(yè)務需求基礎上，云平臺建設分為兩個方面，一方面是建立數據中心，將已有的物理資源、虛擬資源、數據及應用資源進行整合，形成云資源池，通過云資源管理軟件對計算資源進行統一管理;另一方面，建立虛擬云桌面，將應用封裝為各類云服務集中到云數據中心，用戶可通過多種聯網終端接入云門戶獲取相應服務。云服務平臺作為上海市經信委云計算培育項目在學校得到廣泛使用，其提供的云盤、虛擬云桌面、云應用等功能有效地解決了教學資源異地訪問受限的問題，也為未來移動教學提供了一個優(yōu)秀的支撐平臺。
3.自主研發(fā)信息系統集成平臺
學校采用SOA等先進技術自主開發(fā)了信息應用系統集成平臺，將校內主要74個信息系統納入平臺進行統一管理。此外，上海公安教育訓練管理平臺作為公安行業(yè)內第一個覆蓋民警終身培訓全過程的管理系統，其16個培訓管理子系統也納入了統一的信息化流程，為上海公安每一位民警形成了一份完整的教育訓練活動電子檔案。信息系統平臺目前集成了學校80%的應用軟件，當前用戶56000人，日均在線1000人，為全局教育訓練工作提供了強有力的支撐，也成為大數據分析最重要的數據來源之一。
4.建成上海公安遠程教育網
我校率先在全國公安院校建立“上海公安遠程教育網”，通過研發(fā)網絡學習平臺、領導干部在線學習平臺、在線考試系統、在線答疑等輔助模塊，探索遠程教育應用于公安教育訓練的新模式。學校教師教官均參與到公安網絡課程、公安微課程的建設中，形成了人人有課程教學網站、時時可布置在線作業(yè)，處處可進行在線答疑的良好教學互動局面，打破了學員學習的時空限制，有效拓寬了學院獲取教學資源的渠道，使上海公安教育在使用教育信息技術方面成為全國的排頭兵。
二、信息化建設中的大數據
我校在信息化建設過程中，已部署了眾多軟件系統，如信息系統集成平臺、教學管理系統、OA辦公系統、后保綜合系統、遠程教育、數字圖書館等，這些系統每天都在產生大量數據，并且產生的速度越來越快。這些數據來源于不同的應用和層次，既有教學、科研、人事、財務、資產等常規(guī)管理型業(yè)務所產生的結構化數據，又有課件、圖片、視頻等多媒體教學資源產生的非結構化數據，同時還有購物、吃飯、洗浴等一卡通消費行為數據，以及無線網絡、RFID、GPS等物聯網感知的位置數據。這些數據在系統運行中不斷積累，目前學校各業(yè)務系統已有結構化數據表約1000多個，記錄約5千萬條，數據規(guī)模接近200G，初步積累了“公安教育大數據”。這些數據得到了有效的存儲和管理，但囿于技術限制以及數據應用經驗的不足，這些數據在分析挖掘、充分利用方面還不夠。如何利用這些數據，使這些數據變?yōu)橛袃r值的信息和知識，為公安教育訓練工作提供決策成為擺在我們面前的一道亟需攻克的難題。
通過對信息系統和數據進行梳理，我們發(fā)現當前系統中還存在一些問題：
(1)信息孤島現象仍然存在。雖然學校的信息集成平臺集中了絕大部分管理類的應用，但是遠程教育、數字圖書館等專業(yè)應用仍有較強的獨立性，信息并為充分集中和互通，數據之間無法動態(tài)關聯，降低了數據的使用效率;
(2)技術難點需要突破。由于數據類型繁多，類型不一，傳統的數據挖掘算法無法滿足這些結構化和非結構化數據的處理要求，傳統數據挖掘技術面臨巨大的挑戰(zhàn);
(3)缺乏數據分析的模式和方法，數據需求不夠強烈，數據價值難以體現。
同時為了解學校對數據服務的需求，探索大數據應用的解決方案，我們還對學校的教學部門及管理部門進行了走訪調查，聽取了各部門對信息化工作的意見和建議，并對日常教學、科研、管理等方面存在的數據應用需求進行了歸納：
(1)校辦公室提出，希望通過數據掌握學?？傮w運行情況，但目前無法實時了解在校培訓總人數，教室、宿舍使用率，教師教官教學狀態(tài)等，缺乏相關數據支撐，為領導提供決策支持方面工作收到較大局限。
(2)政治處要時刻掌握民警的出勤情況、人員結構、思想狀況等，但目前考勤系統還未能實現對各種出勤數據的自動統計，人事數據變動也無法做到即時的自動分析，工作人員則希望系統產生的數據可以通過統計和分析來得到有用信息從而降低人工統計的工作量，并能夠通過人員結構變化進行各種趨勢分析。
(3)教務處目前已提供了各專業(yè)課程數據、師資情況、學校教室使用分布數據、學生實習實訓等情況，工作人員希望能通過利用已有數據、分析排課規(guī)律來實現自動排課功能。學管處在現有錄入數據的基礎上，希望通過學生在校考試成績、德育表現、獲獎情況等在學員畢業(yè)前自動為每個學員形成綜合畫像。
(4)后保處表示對于學校日常管理的數據需求日漸增大，如對于能源消耗管理、車輛運行管理、經費管理等應用大數據分析，將大大提高后勤管理的工作效率。
(5)教學部門的工作人員提出希望能通過數據自動分析出網絡課程各模塊學員參與度及掌握情況，以及在線考試題目的錯誤率等，從而為網絡課程的設計提供參考，并為教學創(chuàng)新提供重要依據。
我校數據來源廣泛、數據類型繁多，數據量隨著信息化建設的推進日益增加?；谀壳暗臄祿F狀，以及學校各部門對于數據應用的需求，我們考慮建立公安教育大數據分析平臺，對學校人事、課程、資產、檔案等方面的數據進行收集、存儲、分析，把得出的知識再反過來服務于管理、教學、科研、后勤等各項工作，通過系統的整合以及數據的互聯、共享，提高數據的利用效率，從而推動數據在公安教育中的智能化運用。
三、公安教育大數據分析平臺的構建方案探索
我校100多個信息應用系統，在日常教學和管理中積累了大量歷史數據，但這些海量數據卻沒有得到有效的分析和利用，各部門人員在日常數據錄入和維護中只是通過統計和排序對數據進行簡單的功能操作獲得一些表面、淺顯、價值不高的結果。構建一個大數據分析平臺，從學校其他應用平臺中抽取海量數據進行管理、整合、分析和利用，從中發(fā)現潛在問題和有價值的規(guī)律，并通過可視化的方式進行展示，能夠為學校管理層提供科學決策的支持，并滿足教師教官、學員的個性化需求，從而提高我校信息化服務的質量。
1.構建目標
(1)實現數據的共享和交換。將學校各應用系統的數據進行集成和整合，使來源各異、種類不一的各類數據可以相互使用，豐富數據的來源，打破系統間的信息孤島，實現數據的共享和應用。
(2)大數據的采集和存儲。研制數據適配接口，對接校內各應用系統獲取各類異構數據，并采用大數據主流的框架和系統對數據進行統一存儲，為數據的挖掘和分析打好基礎。
(3)大數據分析與決策。采用數據挖掘、數理統計等相關技術，構建大數據分析框架，提取數據中隱含的、未知的、極具潛在應用價值的信息和規(guī)律，為學校的教務管理、科研管理、學員管理、后勤管理等各項工作提供決策和指導。
2.構建原則
(1)安全性。公安教育訓練工作中有許多保密性內容，大數據分析平臺依托公安網進行部署，應采取安全性高的訪問認證機制，同時在平臺建設中要充分重視系統自身的安全性以及其他應用系統的安全性。
(2)可擴展性。對公安教育大數據的分析和應用是一項長期持久的工作，隨著管理工作的重點、教育訓練工作的變化推進，對于分析平臺的規(guī)模和要求也會不斷變化。因此，要求平臺的設計和實施要具有良好的擴展性，以滿足不斷發(fā)展變化的要求。
(3)靈活性。在平臺的設計和實施中要考慮到與其他應用系統的整合，開發(fā)出多個類型的接口，能夠靈活接入其他系統、拓展服務類型。
3.總體框架
平臺應適應于大數據處理要求，能支持PB級數據管理。系統架構應高安全性、易擴展性，能夠支持各類主流開發(fā)語言，并提供豐富的接口。同時能夠支持結構化和非結構化數據的存儲和應用。Hadoop作為開源的大數據處理平臺和工具，其提供的HDFS分布式文件系統和MapReduce模型能夠很好地滿足以上的要求。系統的總體架構圖如1所示。
基于Hadoop技術的公安院校大數據分析平臺自下而上分為三個部分，分別為：數據層、大數據采集與存儲、數據分析及展示。
(1)數據層，針對不同系統進行分析，制定系統數據采集范圍與目標，收集本校在日常管理和教學中的產生的各類數據，將各種結構化和非結構化數據進行整合，為大數據的分析提供支撐。
(2)大數據采集與存儲旨在為各類異構數據研制適配接口，與校內其他各系統對接，并為數據提供適配、轉換、存儲等基本管理功能，基本步驟包括：
a.數據抽取：針對大數據分析平臺需要采集的各類數據，分別有針對性地研制適配接口。對于已有的信息系統，研發(fā)對應的接口模塊與各信息系統對接，不能實現數據共享接口的系統通過ETL工具進行數據采集，支持多種類型數據庫，如SQL SERVER, ORACLE, ACCESS等學校系統數據庫，按照相應規(guī)范對數據進行清洗轉換，從而實現數據的統一存儲管理。對于其他數據，需要具體根據數據情況實現相關接口，利用對應接口獲取相關數據信息，進而完成數據的抽取。
b、數據預處理：為使大數據分析平臺的MAPREDUCE算法能更方便對數據進行處理，同時為了使得數據的存儲機制擴展性、容錯性更好，需要把通過數據按照相應關聯性進行組合，并將據轉化為文本格式，作為文件存儲下來。
c、數據存儲：為了提升數據存儲的擴展性和容錯性，采用主流的大數據框架Hadoop的HDFS文件系統對學校的各類數據統一進行文本化存儲，數據按相應規(guī)則存儲，實現每日保存一套完整數據文件集，形成數據倉庫。
(3)數據分析和展示是核心業(yè)務層，通過數據報表工具，根據需求制定多樣的，針對性的數據報表。通過基于的Hadoop的MapReduce編程模型實現的數據分析系統，針對存儲的數據進行數據處理、算法運行、結果轉換操作，將結果保存為報表文件，每日形成的報表文件集。報表展現系統將生成的報表文件以可視化方式進行展現。
4.大數據分析平臺中的關鍵技術
大數據平臺的構建借鑒了開源系統的先進理念，采用了Hadoop開源系統，充分利用 HDFS的可靠性，MapReduce的引入大大加強了平臺在數據分析方面的彈性，使平臺在可擴展性、可靠性、易用性和性能方面都有良好的表現。
(1)Hadoop技術
Hadoop框架是一個開源的大規(guī)模數據處理平臺和工具，主要來源于Google公司提出的MapReduce編程框架，GFS文件系統以及BigTable存儲系統等技術[1]。Hadoop具有龐大的家族體系，本平臺的構建主要涉及到Hadoop框架的分布式文件系統HDFS和MapReduce模型。分布式文件系統作為Hadoop框架的底層，主要負責分析數據的分布式存儲和管理，MapReduce模型主要是負責對大規(guī)模數據集進行計算處理。Hadoop釆用HDFS文件系統子框架來實現其所具有的存儲能力，用MapReduce編程模型框架來實現其計算能力，二者的巧妙結合使得Hadoop擁有高效的存儲和計算能力。
(2)HDFS技術
HDFS分布式文件系統是對大規(guī)模數據實現分布式存儲和管理的有效工具，也是分布式計算的存儲基礎，具有很高的容錯性和擴展性，并且對數據讀寫提供了的高吞吐率[1]。HDFS實現了數據的分布式存儲，使得應用程序能夠更加靈活地訪問大規(guī)模的數據集，同時也為后續(xù)對大規(guī)模數據的分析提供了數據平臺[5]。HDFS分布式文件系統釆用的是典型的主/從結構，這種結構極大的簡化了系統的架構，使得系統更加簡潔，方便系統的管理。Hadoop的分布式文件系統HDFS主要由主控制器和數據節(jié)點組成，主控制器管理名字空間和數據節(jié)點，同時管理數據塊到數據節(jié)點DataNode的映射等。文件系統中的DataNode作為數據節(jié)點，主要存儲實際的數據，主要負責所在的物理結點上的存儲管理，執(zhí)行主控制器下達的命令。數據節(jié)點能夠及時接收客戶發(fā)送的讀寫請求，并針對這些請求完成相應的操作。從分布式文件系統的結構內部來看，數據文件被存儲分割成多個數據塊存儲在每個數據節(jié)點上，每個數據節(jié)點存儲著來自多個文件的數據塊，同時每個數據節(jié)點上也會存儲這些數據塊的多份副本，保證后續(xù)數據操作的準確性。
(3)MapReduce技術
MapReduce技術基于分布式文件系統，通過編寫相應的處理過程能夠實現對大規(guī)模數據集進行并行計算和處理，通過對不同分析模塊編寫相關的MapReduce處理函數能夠實現對大規(guī)模數據的精確分析，同時能夠控制各個節(jié)點之間完成高效的任務調度[5]。MapReduce通過將操作分發(fā)給網絡上的各個節(jié)點，每個節(jié)點會周期性的返回它所完成的工作和最新的狀態(tài)，從而實現對大規(guī)模數據集的操作，這種處理方式保證了操作的可靠性[5]。MapReduce技術處理的方式是,首先將一個具體的任務分解成為若干個很小的任務，然后將分解后的任務分配到各個分節(jié)點，通過主節(jié)點來對分節(jié)點的任務進行管理和調度，然后得到分節(jié)點處理后的結果，再將結果整合，得到最終結果，通過多個節(jié)點之間的相互合作和調度，從而實現對大規(guī)模數據集的計算和處理?？偟恼f來,MapReduce就是基于“分而治之”的思想實現“任務的分解與結果的匯總”。
四、利用大數據，實現教學和管理的全面創(chuàng)新
構建公安院校大數據分析平臺是以我校戰(zhàn)略發(fā)展規(guī)劃為藍本，以我校信息化建設綱要為依據而進行的創(chuàng)新性探索。以大數據建設頂層設計為基礎，收集整合公安教育各方面所產生數據，從數據中提取出有價值的信息和模型，推動公安教育的全面創(chuàng)新。
1.開展大數據頂層設計，以大數據應用全面推進學校發(fā)展
大數據將成為推進學校發(fā)展的新動力，通過開展大數據頂層設計，對大數據獲取、收集、整理、利用進行全面規(guī)劃，從應用需求出發(fā)，明確建設目的和路徑，明確什么要做，什么不要做，什么應該先做，什么應該后做，用什么模式做，做到什么程度，達到什么效果，以指導學校未來3-5年的大數據建設。
2.快速推進教學和管理工作的信息化，建立豐富的數據來源
用大數據方法全面分析現有教學和管理工作，新建或升級信息系統，對教學和管理實現全過程記錄，建立豐富的數據收集渠道。如通過對現有遠程教育系統進行全面升級，跳出遠程教育的概念，實現對教學過程的全面支持，詳細記錄每個學生的學習行為數據，包括課程學習數據、視頻觀看數據、資料查閱數據、作業(yè)完成數據、互動交流數據、成績數據等，將數據細分到每個行為細節(jié)，以提供超越傳統系統的數據精細度，客觀地反映出學習的實際狀況。通過建立物聯網應用，實現對物品、人員、安全等各方面管理的強大支撐，提升管理質量的同時積累大量管理數據和行為數據。
3.基于個性化服務需求，建立大數據分析模型
提供優(yōu)秀的個性化服務是教育和管理的重要目標之一，大數據應用則是提供規(guī)模個性化服務的必要條件，而大數據分析模型的質量決定了數據的價值。一個平時被忽略的數據在好的模型中，會產生難以想象的作用。我們可以通過對學習行為數據的分析，了解學生的學習興趣和學習效果，研究哪些學習方式是最容易被接受的，哪些課程的設計是最受歡迎的，或具體到某個作業(yè)問題回答的正確率以及橫向和縱向的比較，并深層次的展現出其中的原因。這些數據被提供給教師，將對教學創(chuàng)新提供最為直接的支撐。通過對一卡通行為數據的分析，可以了解學生的日常行為規(guī)律和消費規(guī)律，了解學生行為與學習成績、學校效果之間的關聯關系，提供學生管理創(chuàng)新的依據。
4.綜合應用大數據成果，推動學校全面創(chuàng)新
通過大數據的綜合應用，可以建立對各項教育和管理工作的分析和判斷，應用到實際工作中，從各個方面推動學校全面創(chuàng)新。
通過對教學過程、學習行為、學習成績、教學滿意度、教師需求量、專業(yè)師資質量、專業(yè)成熟度、行動軌跡等綜合分析，建立教師畫像、學生畫像、專業(yè)畫像，直觀了解優(yōu)勢和不足，預測發(fā)展狀況。
通過對學生人數、宿舍分配、教室使用、能源消耗、網絡消耗、食堂消費、圖書館利用等進行綜合分析，建立各資源利用率指數，實現數據可視化，引導管理工作的精細化和管理的扁平化。
通過對一卡通、圖書借閱、專業(yè)分布、課程分布、成績、學習行為等進行聚類分析，發(fā)現具有某些特征的特殊群體及其獨有的行為方式，并利用相關性數據進行挖掘，從中發(fā)現規(guī)律。
通過對教學數據、教學效果、考勤記錄、個人數據、管理數據進行綜合分析，建立科學的、真實客觀的教師績效評價體系，改變傳統人為評價的主觀性，讓大數據選出真正優(yōu)秀的教師。
五、結語
構建高校大數據分析平臺是個具有開拓性的實踐探索，在高校中具有廣闊的應用前景。我校目前還處于初步規(guī)劃的階段，我們將加強與行業(yè)公司、科研機構的合作，在大數據分析平臺構建方面進行深入探索，從公安教育信息化發(fā)展的實際出發(fā)，采用當前先進的工具和技術，構建出體現上海公安教育特色，同時在普通高校又具有通用性的大數據分析平臺。
參考文獻：
[1]趙剛.大數據:技術與應用實踐指南[M].北京:電子工業(yè)出版社,2013:4.
[2]周飛,石晉杰,崔磊.“大數據”時代的公安工作初探[J].上海公安高等?？茖W校學報,2013,23(2):34-37.
[3]宓詠,趙澤宇,大數據創(chuàng)新智慧校園服務[J].中國教育信息化,2013(24): 3-7.
[4]王慧鋒,房一泉,陳曉寧.建設智能云數據服務平臺讓高校大數據“說話”：提升學校核心競爭力[J].華東師范大學學報(自然科學版),2015(S1).
[5]潘奇.基于Hadoop技術的高校學生行為分析系統研究與實現[D].北京郵電大學,2014
以上就是100唯爾(100vr.com)小編為您介紹的關于?？茖W校的知識技巧了，學習以上的構建高校大數據分析平臺的探索——以上海公安高等?？茖W校為例知識，對于?？茖W校的幫助都是非常大的，這也是新手學習賽事資訊所需要注意的地方。如果使用100唯爾還有什么問題可以點擊右側人工服務，我們會有專業(yè)的人士來為您解答。
本站在轉載文章時均注明來源出處，轉載目的在于傳遞更多信息，未用于商業(yè)用途。如因本站的文章、圖片等在內容、版權或其它方面存在問題或異議，請與本站聯系(電話：0592-5551325，郵箱：help@onesoft.com.cn)，本站將作妥善處理。
向客服提問上一篇： 沒有了
?？茖W校課程推薦
賽事資訊熱門資料
賽事資訊技術文檔
推薦閱讀
