___(A)____
重播用的來源檔(Raw)
HK_100503.log
檔案大小: 1,444,388 KB
此檔案為2010-05-03,HTS Server於日盛所錄下接收ComStock的港股資料(由cooper提供)
輸出給HTS的封包歷史檔(Raw)
SeqNo.HFD
檔案大小: 250,016 KB
此為GMDS輸出給HTS Server(KGQ)的完整資料內容,
包含HTS需要的封包序號、清盤、市場訊息與衍伸的欄位資料如內外盤量、前一買賣成交價等,
以及由盤後檔取得的擴充欄位如中英文名稱,交易ID,商品特性等,
HTS的歷史檔封包索引
SeqNo.HFI
檔案大小: 112,538 KB
此檔案規格以16Bytes為一個結構單位,結構內容為:
檔案位置(__int64[8]) + 封包長度(long[4]) + 發送時間(time_t[4])
提供以序號針對歷史檔快速Access的索引資訊,也可作為以後以時間模擬資料重播的依據
以Raw Data比較, 來源的 1.44GB 經過GMDS處理後, 須發送給HTS Server
的資料量僅250MB,約原本的18%不到,
其中主要原因是日盛的架構中,會有大量頻繁的Refresh資料,
而在來源資訊連結無中斷的狀況下,Refresh的內容都會跟記憶的Quote Status一模一樣,
因此單就Raw Data來說,經過變異演算處理的過程中就能節省大量資料傳輸,
而250MB的資訊量於新的壓縮傳輸機制下實際僅須傳輸120MB,壓縮約為原本的48% ,
48% * 18% = 8.64%, 也就是以通訊的部分而言,
從源資訊到HTS只須源資訊的 8.64%傳輸頻寬, 不到原本的一成, 非常驚人!
___(B)____
重播用的來源檔(Raw)
20100602-16h.log
檔案大小: 119,701 KB
此檔案為2010-06-02,由iPower提供的ComStock Log檔 (僅Level1,無Level2之5檔行情)
輸出給HTS的封包歷史檔(Raw)
20100602-SeqNo.HFD
檔案大小: 65,660 KB
HTS的歷史檔封包索引
20100602-SeqNo.HFI
檔案大小: 24,733 KB
以Raw Data比較, 來源的 119MB 經過GMDS處理後, 須發送給HTS Server
的資料量僅 65MB,約原本的55%,
原因是ComStock的架構中,有些資料須經常性的伴隨發送,
例如小數點位數,只要有價位資料就須連帶發送出來,但這個項目是完全不會有異動的,
所以GMDS以一個tag紀錄此資料,從頭到尾只須發送一次即可,這樣就能隨封包數目的數量級大幅減少傳輸資訊量,
同樣的如交易日期(ComStock有三種日期 Quote/Active/Trade Date)於同一交易日中也是不會變動的,
類似的這些都可以讓Raw Data本身透過變異演算技術的處理,就能有相當大幅度的資訊量節省空間,
資訊量節省不單是節省頻寬,包括傳遞速度與處理效率都會相對提升,
同樣的於實際傳輸的部分,可以(A)的部分來估
55% * 48% = 26.4% ,
所以從源資訊到HTS只須源資訊的 26.4%傳輸頻寬, 僅原本的三成不到, 也是驚人!
PS:
ComStock 的 Log 僅會有 Realtime 的 Refresh push, 不會像日盛中的架構會有其它多餘的Querry Refresh資料