專題報導

DHI資料處理系統歷次功能改版之回顧

新竹分所 陳志毅

前 言

  我國推行乳牛群性能改良計畫 (Dairy herd improvement,DHI),長久以來對於國內乳牛生產性能之提昇貢獻卓著, 33 年來每月平均參加DHI測乳之泌乳牛自3,000頭起,最高峰曾達約 22,000 頭,而歷年來新竹分所所收集建立超過220萬筆之 DHI 資料庫,係紀錄著所有參加測乳牛隻泌乳與生產性能之資料,是我國唯一專業之乳牛性能資料庫,這些資訊無論對於改善酪農乳牛管理缺失、提供生產者經營管理資訊或成為上級決策機關之施政方針,其重要性不可言喻。而「DHI資料處理」在整個DHI計畫的環節中與「牛乳品質檢驗」同時扮演關鍵角色,「資料處理」主要是酪農的紀錄及牛乳品質檢驗後產出的原始數據,整理運算成為有用的DHI管理資訊,因此DHI系統的軟硬體設備,對於資料處理的效率動見觀瞻,隨著時代潮流的演進與電腦設備的進步,DHI系統機組也分階段進行改版更換,以產製最精準、快速的各種DHI經營管理資訊回饋辛苦經營的酪農朋友。筆者藉此篇文章回顧歷年來DHI核心資料處理系統歷次改版與更新的狀況,讓讀者瞭解多年來畜產試驗所為提升乳牛群性能改良所做的努力。

  圖 1. DHI 輔導員測乳採樣與樣品檢驗分析 (上圖左及中 )與 DHI 資料處理的情形。

DHI核心資料庫系統首次建置

  我國於1977年開始實行DHI計畫後,攸關全國酪農牛群性能紀錄的資料處理問題即為最關注的核心重點業務之一,農政機關 (農復會) 積極尋覓場地與設備來處理DHI乳牛測乳及性能資料,首先於中華民國乳業發展協會設置DHI資料處理中心,並採購資訊設備來執行DHI計畫之資料處理。環觀當時首家全球資訊廠商在台設置研發單位者,為王氏電腦股份有限公司,其於1975首先推出第一部中文電腦,成功開發「王安辦公室資訊處理系統」(Wang Office System)─簡稱王安OIS處理系統,也負責資訊研究發展與技術配合,而獲中華徵信所評審為中華民國十大優良企業之一,有鑑於此,本計畫採用王安WANG 2200型之電腦主機,另配合Cobol語言開發資料處理軟體,作為DHI計畫資料處理的首航,建立所形成的資料庫是以大型磁帶為主要的資料儲存媒體。此時期負責推動DHI計畫的池雙慶博士除用心指導DHI軟體核心程式的設計即報表列印,並教導測乳人員及農民勤作牧場管理紀錄的重要性,奠定日後DHI資料收集系統的基石。

DHI核心資料庫系統第1次改版

  自 1988至2010年,DHI資料處理系統共歷經 5 次資料庫改版或硬體架構更新 (表1)。 DHI資料庫系統於使用王安電腦2200系列資料處理機10年後,隨著資訊產業發展的迭代變化,電腦市場與規格趨向更開放、更工業化、標準化的方向發展,以及國內測乳處理資料逐年增加、機組運作效能下降等多重因素下,促使DHI資料庫於1984年進行首次系統改版工作,主要是更換核心主機以加強資料處理效能,所採用之新運算處理系統為IBM 企業級之System/36 伺服器 (放置於中華民國乳業發展協會) 進行DHI的資料收集與處理,運算項目包括305-2X-ME、同場同期比較差等較複雜的乳牛性能資料,並印製乳牛性能檢定月報表寄送給酪農參考,其餘資料統計分析則由新竹分所現任張分所長菊犁以 dBASE II應用軟體自行開發程式來解決支援,隨後筆者亦使用dBASE III PLUS加入統計分析工作,並應用Fotran、SAS、Excel、MicroQuery、VCE5 (Variance component estimate 5) 等程式,發展後端管理模組 (乳牛遺傳參數估計系統模組) ,為後續研究型資料庫進行接軌整合。

  System/36 伺服器係IBM公司於1978年所推出System/38伺服器之前身,1988年更名為AS/400,該設備具有運算可靠、容易管理及資訊安全等特色,是當時相當先進的企業級商業伺服器,其主要操作界面為文字模式 (Text Console Mode),資料庫軟體仍沿用 Cobal程式來開發DHI處理系統,Cobal是當時很熱門的商用電腦語言,專用於封閉系統型態的主機,優點是對於處理大量資料很穩定,且模組設計容易學習,惟對資料庫維護與修正則頗費工夫,如欄位長度或型態屬性變更等架構組態之修正等,因此聘有專門的程式設計師定期至乳業協會進行DHI系統維護。此時期的網際網路並不發達,DHI系統架構為終端機介面,即System/38主機伺服器,連接到很多螢幕跟鍵盤,提供顯示與輸入的功能 (終端機),終端機端並無執行運算的功能,乳業協會的資料處理人員必須要登入主機才能執行運算與資料儲存。

  當時這套設備所處理的 DHI 戶數每月平均為 381戶,約4,900頭乳牛,而主機系統之儲存設備的容量僅為2M,故須配合3.5”磁片、小型磁帶機與實體備份報表 (裝訂成冊) 的儲存,方可妥善處理所有牛隻性能資料。本次改版所產製的 DHI 功能管理報表主要為現場紀錄表、生乳品質檢驗表與乳牛群性能改良月報表為主,均為套表型式,提供給參加DHI的酪農進行牛群經營管理與育種改良之決策參考,這些重要的報表的內容持續延用,雖然報表的格式隨時空環境有所修正,惟仍為酪農朋友最信任的牛隻性能指標依據。

表1.自1977年至2010年新竹分所DHI核心資料庫與程式模組歷次改版狀況

第2次系統改版

  1990年以後,DHI的資料處理業務轉移至畜產試驗所新竹分所辦理,隨著測乳牛數的不斷增加,資料處理量亦相對提昇。由於此時期的個人電腦逐漸普及,非企業專用的伺服器的功能也越來越強,DHI系統基於硬體價格與維護成本的考量,採購Acer Frame 500作為主要的運算伺服器,並配合軟體開發資料程式,於DOS的作業平台上進行DHI資料庫的儲存與運算的工作,當時的隨機存取記憶體約為4-16 MB,已是相當昂貴且優異,然與現在最普通的個人電腦動輒1G (1024MB) 感覺則相對渺小,由此可以感受電腦硬體效能的進步神速。此時期應用Foxpro 應用程式開發DHI程式,所產製的報表還參照美國北卡州立大學DHI資料處理中心乳牛性能及酪農牛群管理等各式報表,而報表格式也大幅修改,酪農收到兩種新型基本報表即為「DHI性能核定報表」及「個別牛隻乳品質檢驗報表」(圖2)。

圖 2. 參考美國北卡州立大學改進之DHI性能核定報表 (上)及個別牛隻乳品質檢驗報表 (下)。

  1993至2000年的DHI平均每月測乳牛隻頭數約7,908頭,相較改版前約增加3,000頭的處理量,改版後系統運作相對順暢。值得一提的是由於網際網路的興起,新竹分所積極爭取試驗計畫經費補助,聯合包括洪志坤等10位優良示範酪農戶進行網路連線DHI資料庫擷取資料的試驗,示範戶可以藉由數據機 (合勤Zyxel) 與client端程式控制模組 (圖32),連線新竹分所 (server端) 擷取該戶即時測得的牛乳品質檢驗與性能改良月報表等資料 (圖43),是當時相當進步的資料取得方式,也為日後Imternet資料傳遞與養牛e化資訊管理拉開序幕。

圖3. 1993年第2次DHI系統改版-資料處理主機連線示範戶資料傳輸架構圖。

 

圖 4. 主機端以數據機傳輸DHI資訊(左) 酪農端以網際網路連接家用電腦玉印表機印製DHI管理報表(右)。

第3次系統改版

  2001年起,新竹分所進行第3次的DHI資訊系統改版規劃,此時期著重在資料庫軟體開發與資訊安全控管,對照前次(第2次)系統的改變,本次資料庫管理軟體採用Microsoft公司 於1998年所推出之 SQL Server 7.0 (開發代號:Sphinx) 並安裝於Acer Altos 12000的伺服器中,該作業軟體是企業級關聯式資料庫管理和分析系統,SQL為「結構化查詢語言」(Structured Query Language),其設計優點是可延展電子商務管理與資料倉儲解決方案,因此具有容錯性較高、資料庫支援性較大與連線使用者多等優點。

  SQL Server 7.0也將Access 2002 作為應用程式中儲存資料的前端模組,DHI資料處理員比較容易熟悉介面,也兼顧開發人員和資料庫管理員 (DBA) 能夠得到 Sphinx 的效能。而在DHI程式開發方面,此時期使用當時流行的Borland C++ Builder (簡稱為 BCB ) 商業應用程式,設計「DHI計畫管理分析程式」,該軟體把各種程式設計師所需要的各種功能,簡化成元件方式,設計者可直覺的選取所需的元件應用,不需多費心於程式排版上,所見即所得的模組,能針對選取元件直接coding (編譯),亦可與 Office 軟體進行互動而輕鬆做出資料庫連線及DHI多元化管理報表,配合新設置之網路交換器,快速傳輸檢驗室數據至電腦室資料處理室進行後續資料處理,並建立後續研究型分析資料集(圖5)。

  此時期 (2001年至2003年) DHI的月資料處理量約為15,708頭測乳牛隻,累積DHI資料庫已超過200120萬筆乳牛測乳與性能歷史紀錄,為了保障這些資料,特別加強資訊安全管控,以Office Scan配合Fortinet FG110C 防火牆,來增加資料管控安全。

         圖 5. 3Com Super Stack II Switch3000網路交換器(左),應用Sphinx 所開發的DHI系統乳牛資料管理程式(中),
               筆者後續建立遺傳參數研究用資料庫。

第4次硬體架構調整

  雖然Sphinx在資料庫管理上具有前述資料處理的優點,惟隨DHI測乳牛頭數急速上升,於2004至2008年的平均DHI每月測乳牛隻頭數平均達19,697頭的歷史高峰,硬碟容量僅40G的伺服器運算效率明顯不足,時有出現系統不穩定的狀況,對後線輸入人員及資料建立穩定度上造成影響,故第4次DHI資訊系統的改變主要為更換的伺服器 (Asus5S) 與資料庫軟體 (SQL Server 2000)的版本 升級,並未進行主程式模組作開發與修正。  

  DHI資料庫因累積資料而日漸龐大,資料備份與安全防護與資料備份機制相對重要,本時期在資料安全防護上採用FortiGate-110C(FG110C)高性能UTM防火?,具備信息防漏、終端控制、病毒抑制及網域優化等功能(圖6);資料備份系統則方面選用STARDOM SOHORAID SR3620-2S-SB2 的磁碟陣列機(圖74) (包含SATA介面與 USB2.0連接埠),以 RAID 1 鏡射核心技術之real-time (即時性) 模式,全自動雙重備份功能將內部資料儲存進行自動雙重備份,兩部硬碟資料百分之百相同,同時備有資料重建及檢測的安全機制,於DHI系統發生異常時,SR2將會啟動資料重建功能,將目前儲存之所有資料完整複製至新硬碟中,2009年DHI系統曾因為電力系統供電不穩定及檢測資料因分戶問題導致系統程式運作失常,即因SR2之資料檢測功能,確保重建至新硬碟中之完整資料,以便爭取時間修復系統,並確保珍貴資料庫資料不致受損。

圖 6. DHI資訊安全所採用美國飛塔公司之FortiGate-110C(FG110C)高性能UTM防火牆。

 

                  圖 7. 第 4次硬體架構調整主要更換之伺服器 (Asus5S)、資料庫軟體 (SQL Server 2000) 與電腦週邊 (上排)。
                           備份利器TARDOM SOHORAID 磁碟陣列機 (下排)。

第5次系統改版

  時序進入2009年9月,乳牛場e化的養牛策略越來越受重視,DHI的功能不僅侷限於牛乳檢測與報表提供的範圍,如何藉由網路無遠弗屆的能力更精確、快速的傳播乳牛性能數位化資訊,同時配合各項無線射頻資料管理、公牛遺傳性能諮詢等電腦管理平台之籌建,來讓酪農取得更先進的乳牛經營管理資訊,是DHI核心資料庫系統的web改版的最主要思考方向。筆者主導此次DHI資料庫系統主要改進重點如下:

1.

強化網路架構:

配合新竹分所2009年11月遷場所規劃之最新高速電算設備,DHI系統需要更新整合,採用 Browser/Server 先進網路架構,使用集中式資料庫時較不受網路頻寬等通訊因素影響,同時新系統架構可支援異質平台溝通如支援PDA/智慧型手機等行動裝置的整合擴充,未來無論是無線射頻模組 (RFID)、無線感測自動化技術 (WSN) 等新型試驗計畫之工作平台進行資料匯流介接,方可順利接軌。

2.

淘汰老舊機組:

DHI伺服器因使用年限影響機組設效能,外因新增資料流量導致程式經常需要維護,故障當機之頻率增加,致延長資料處理之時間且降低工作流程效率。利用本次改版的機會,購置最新刀鋒伺服器 (Jcnet Blade server) (Intel Xeon 2.26GHz) 配合 Windows Server 2008作業系統與 SAS硬碟,預計大幅提昇資料運算正確度與工作效率(圖8)。

3.

修正程式模組:

為增進DHI系統邏輯運算與資料分析功能,發揮更精準之核心系統程式執行效率,本次改版選用高階高相容性的Asp.net/C# 軟體程式來開發DHI系統模組。由於微軟近年針對IDE介面的設計做了相當大的改善,其中 .net (2005) 程式於工作平台上可以運用更廣泛的函式庫,較前版 DHI所使用的Borland C++ Builder 功能更趨完善,提供程式設計師更親合的撰寫情境,有利於未來DHI系統升級與異質平台銜接。

4.

展延程式相容性:

新版程式提供快捷更新核心系統的功能,直接更新 AP Server用戶端,即可透過瀏覽器即可使用系統用戶端,不須安裝其他瀏覽程式就可支援 SOA,WCF,XML Web Service等新一代服務運作模式,此外,.Net framework 可提供 Crystal Report 等報表引擎與ADO.NET等豐富擴充性功能,大大提升各種系統整合的相容性。

5.

提昇資訊安全:

現在網際網路極為發達,既可無限制的傳播資訊,卻也可能遭受電腦病毒與駭客程式的攻擊,而造成資料庫系統的嚴重破壞,因此對於資訊交流可以說是一刀兩刃,為有效保障多年來辛苦建立的珍貴乳業資料,此次改版安裝企業級防毒軟體 (卡巴斯基),使用最新的病毒碼,防範包括執行檔型病毒、巨集病毒、網蟲病毒、惡作劇程式及後門程式(特洛伊/ 特洛伊木馬)的侵襲破壞,同時購增入侵偵測防禦組件 (Fortinet) 嵌入式防火牆設備,增加一個防竄改之集中化管理關鍵性保護階層,保障DHI網路免於遭受駭客攻擊和非法存取。

6.

注重資料儲存:

DHI資料庫收集多年對我國乳業資料可謂彌足珍貴,為有效保護核心資料庫系統,新版系統更加著重資料備份功能,使用最新BESR (Backup Exec? System Recovery) 技術,以V2i (Virtual Volume imaging) 的虛擬影像技術採Sector-by-Sector的複製方法,採時間點 (Point-in-Time) 備份,精確地擷取整個伺服器或桌上型電腦的即時運作狀態,將作業系統、應用程式、資料及設定等內容放入NAS系統。

 

          圖 8. 新建置DHI刀鋒伺服器主機 (Jcnet Blade server)(左)、入侵偵測防禦系統 (Fortinet) 嵌入式防火牆設備(中)及高速
                 設電腦處理備之機櫃外觀刀鋒機組管控畫面(右)。