Media in Hong Kong

聽說在香港辦報做電視媒體，要比台灣艱難。像亞視這種老牌都撐不住，現在好像就是蘋果的報紙影響大。就買賣而言，市場也就是供需，需求小對應的供給少的話，基本收支還是打的平的。關鍵還是自己在市場的TA抓到沒，這好像是行銷101吧。有TA就能估出需求量，媒體質量產出就能估出，成本就能估出，供需平衡點也大致能抓到。

當然這是很理論的方程式啦。根據不同地區國情文化不同，有地緣的台，陸，港，日，韓，以至東南亞國家，這些有中華歷史背景的區域或可相互借鑒，隨著人文時間的推移而衍生出不同的市場型態。好在現在還有大數據的幫忙，比較不需要像過去砸大錢跟市場拼搏，而能夠即時的一步一步針對市場反應進行修正。不過現在看來，不少金主砸錢做媒體似乎還是依賴自己的直覺，在過去或可行的通，但在互聯網爆發的21世紀後，雜訊與外力複雜的交互作用下，個體的意志很容易淹沒於大浪之中。

Server Hardware QC

國產的機架server價格，要比HP這些國外大廠的要便宜至少一半，外接擴充可能剛好夠用。在國產品牌待過的朋友，勸說不要買國產貨，因為那跟你去光華商場買買零件，自己回家組好燒機測試之後的結果一樣。但從管理的角度想，這個價格就是買這個工錢：

• 你自己挑機殼電源板子所有的零件來組裝。
• 你自己花MIS時間精力去做硬碟與網卡的I/O測試。
• 你自己找燒機套件進行長時間燒機。
• 燒完有問題的零件自己拿去退換貨。
• 以上工作給無經驗的MIS做一兩週可能做不完。
• 我也不是工廠天天有機器可練所以經驗也練不出來。
• 以上做完還可能有漏掉的項目。
• 1U2U這麼薄的機殼自己不一定組的合適。

VM / Compute instances backup / restore

雖說VM可以自在遷移，但根本上還是依賴於實體CPU與儲存空間，本體instance還是得生存於storage上啊。除了以regular cycling的方式勤奮migration或backup來避免single point failure之外，還有更有效率的辦法嗎？縮短downtime時間是最簡單的第一步吧。

• Compute-only. 無論KVM全虛擬或是LXC容器，只要沒存太多資料，instance不大，搬移backup都很快。
• Storage dependent. 目前想到的就是分離storage componet，獨立出Compute，就可以單獨把Compute SOP了。接下來就是用哪種SDS來保障Storage availability.

32 bit vs 64 bit

OS漸漸不支援32 bit了。軟體要改寫，工程師說要動的地方很多，C的函式不一樣，Linux的不一樣，Windows的也不一樣，改起來成本頗大，效益卻有限。看來，virtualizae everything會是解嗎？

• Linux: Server virtualization. KVM, LXC 都夠成熟。
• Windos: Desktop virtualization. 除了Citrix是老牌，Red Hat SPICE不知成熟沒？

User groups

Content is King。但content總是不夠用，公司的業績還是要成長，怎麼辦？計算發現，收視率跟內容質量成正比，若內容無法增加，就是拓展user groups吧，把同樣內容灑去不同平台，雖然會在差不多時候碰到瓶頸，但user總量會提高的。在這期間，再多生產content吧。還好，現在各大平台都在做video了，不但當行銷通路用，也當內容通路吧。

• LINE TV。台灣人最愛的平台。
• Facebook。也是台灣人甚至不少人唯一的資訊來源。
• YouTube。老牌不用說了。
• PTT。影音圖文都有。

HDD on rack

無論決定用GlusterFS還是Ceph這些SDS軟體架構，都得先規劃出硬體架構為何。

• 硬碟櫃。就像一個很能裝硬碟的特質機殼，像QCT他家有做一個4U裝七十幾顆的，超酷，1U可裝16個之類的。但這種櫃子就是價格高，單次花費大。之前買過一個外殼幾萬塊，正面裝16個硬碟，4U。
• 外接陣列。用USB3之類的外接硬碟盒，一盒裝五個左右，這樣便宜很多，但機架管理比較麻煩。若用小型工業電腦掛載，3U放兩台電腦，4U放四座硬碟盒，最高5x4x4T=80TB。7U放20個硬碟，比起上述4U放16個，有點佔空間。

Software Defined Data Center

整個資料中心用Software Defined來設計，就變成Software Defined Data Center了。其實軟體定義的概念挺實用，他強迫你拆開所有元件，從新pooling，自然就達到最大效率與彈性。除了SDN, SDS之外，若Business Application也都遵循這樣的設計，很酷。

• Controller. IncludingUser (Login) Management，Database (Most important definitions, policies resided)，Orchestration (automation)。
• Storage.  Clustering, redundant data storage based on  SDS.
• Head End. Controlled by Controller and fed data by Storage. Ex. File gateway, video streaming.
• Of course, SDN with strong backbone is required for all Software Defined designs. 

Joe Girard

Joe的演講挺有趣，更有趣的是他的銷售經歷：平均一天賣六台車，最高一天賣十八台。除了他本人的特質之外，其成功的時空背景值得關注。時勢造英雄。

• 35歲開始賣車，那是1963年的美國。當時的社會多元意識抬頭，衝突(或說進步的動力)不少。社會具有旺盛的活力(消費力？)。
• 二戰後擴編的聯邦政府，有大筆大筆的資金，投入太空，科技，計算機等尖端事業。Hackers的紀實報導由此而起，1969有了第一台Unix，人類還登上了月球。
• 越戰，古巴危機也在該時期發生著。

video site sync

要將video site或website進行replication，看是近端或遠端，用SDS或是一般rsync (配合iNotify比較方便，不用基於cron job)都可以。static web pages比較單純，規格一致，但video site最好定義清楚video spec，這樣成長率才能SOP好好估算。

• video bitrate and container (ex. mp4) selection.
• video codec and profile, e.x. H.264 High.
• audio codec.

Software Defined, Cloud compatible File service

檔案服務的歷史由來已久。但要升級到Software Defined, Cloud compatible，思路要換一下。不是非得用當紅的SDN, SDS才能做，而可以在基礎架構上改動，使其更有彈性。

• gateway service可用市售appliance或是iptables, pf。單獨跑在一台至多台VM上。SDN from Internet由此進。其實也就是老牌CDN概念。
• file service可用SFTP, FTP, CIFS。單獨跑在一台至多台VM上。SDN in intranet由此進。
• storage service可用NFS, iSCSI，單獨跑在一台至多台VM上，外掛給file service。
• 儲存空間由storage VM來管理。根據需要進行多份replication，如rsync, GlusterFS等等。其實就當做自己在調自己想要的RAID演算法，自己做SDS。

Email mailhub for SMTP service

架設mailhub作為email server用的STMP gateway是個蠻好的做法，因為多了一層保護與過濾。基本架構如下：

• SMTP-In：外部防火牆將port 25 用 port mapping redirect 到mailhub，然後mailhub再relay給mail server。這樣就可以用mailhub專門進行過濾，如antivirus, antispam, 或是手動加入任何relay rejct規則，都很有彈性。
• SMTP-out：這得看mail server能否指定外部 smart host來幫自己發信了。若非得自己發信，就無法中間擋一層mailhub。

Software Defined Storage, SDS

Red Hat拿下Ceph之後，或說從GlusterFS開始，就大力的鼓吹Software Defined Storage (SDS)。GlusterFS已經是distributed FS的架構，而Ceph更進一步成為大家用OpenStack的Cinder服務首選，能調的地方要比GlusterFS多很多。基本unit的目前主流，是1 primary + 2 rep，Hadoop似乎也是這樣存三份於commidity hardware？不過很能調的SDS，應該就得配合彈性很大的SDN (Network)吧。

舉凡你要多少比例的IOPS與TB容量的取捨, MB/s的tuning，混用SSD, HDD, SAS甚至NVMe的儲存個體，10Gbps甚至40Gbps的混搭傳輸，sequential vs random R/W的調整等等。在充斥著DB, analytics, 以及近年竄紅的video streaming市場，都可對應到object, block, file based的整個cluster network。這個35 billion dollar market，似乎有10%蠢蠢欲動著擁抱新技術呢。

Software Defined IT

隨著組織擴大，IT系統的整合與花樣愈來愈多。基本的資料庫DB與檔案儲存一定有，但數量種類與scale-out的需求與時俱增。在其上的應用不外乎各種Business Intelligence (BI) 或 Operational Intelligence (OI)的應用，如廣告管理，媒資管理，協作平台，Real-time systems等等。

在預算跟人力有限的情況下，要能運用有限資源scale-out上述需求，從IT的software structure最好就是software defined，像近年流行的SDN (Network)，SDS (Storage)這些，廠商會標榜可以用commodity hardware就跑起來。不只降低預算，更有效的根據組織需求，將不同的software defined components根據所需的風險與效能，配給適量的硬體資源。總體又是由軟體定義而整合，從而達到硬體分散卻軟體整合的一大架構。說白了，雲架構不外乎就是這樣吧？各種infra服務分開又整合。

South-East Asia Market

前幾天在看東協十國的資料，簡言之就是來自東南亞國家的輪廓。其中大宗為馬來西亞6.41%，新加坡4.52%，越南1.68%，泰國1.37%，印尼0.95%，菲律賓0.53%。就台灣的中文網站而言，是否就是地緣跟族裔導致的分析結果？馬國與新加坡華僑多距離近，越南台商多，從大陸移居泰國的華人應該也有，再其次才是印尼與菲律賓這些華人更非主流的國家...

Primary vs Secondary

若你的production環境中，具有Primary, Secondary的維運機制，類似「主要」--「近線備援」(Nearline)的架構，並且開發測試的資源不夠多時，就可以考慮將Beta版系統，送上Secondary試跑。由此採集與觀察測試數據。當然Nearline不能代替Primary的Online備援，通常Online備援就是用Primary一樣的系統進行sync即可。

由於作為Secondary的Nearline必須執行Primary的所有工作，且切換到Secondary的頻率不高，所以穩定度較低的Beta可以藉此機會進行長期測試。

NAS clustering with GlusterFS, part 2

上次從一台RAID5將近10TB的資料，轉存到四台分散的GlusterFS去，效果很不錯，Gbe網路幾乎全速在跑。但把這些資料從GlusterFS要倒回RAID時，使用CIFS經常會hang住，或許是file copy消耗的I/O太兇猛？可能改用FTP這種溫和的協定看看。

OS內還有裝防毒...不過主要問題，應該是系統I/O出問題了，可能在網路或硬碟上。原本的RAID陣列就有很多repaired warning，可能需要考慮再更換硬碟試試。

HIDS, Host-based Intrusion Detection System

HIDS的建置，是以單一主機作為樣本採集點。最簡單與基本的概念，就是log monitoring，因為很多攻擊得從合法的本機服務開始，可能就觸發很多Fail log。這也是Splunk的強項，或是最起碼裝個獨立的syslog server，把大家的log都收過來分析。再者是file checksum，進一步監測本機重要檔案是否遭竄改，這會比較耗資源，像Tripwire就是個老牌。

OSSEC倒是整合了log & file checks的功能，是由TrendMicro支持的一個project。但若還要單機的packet capture，就得再把Snort這種NIDS裝到單機上去，可整合到syslog去一起監測。

Check_MK RAW edition, part 5.

Check_MK 會是建立 SOC (Security Operations Center) 的一個不錯的 Management component。有經費的話，我會建議直接用Splunk做一個All-in-one，因為SOC的核心應該是 Analysis component，而其他部份可以從 Splunk衍生。但Free license只有500MB的daily限制，就只能當作個案發生時的Analysis component了。若組織每天都要分析大量的異常，那就真得準備預算買Splunk Enterprise或是具有更強AI的工具，不然會做不完。例如每天有一兩萬個alerts，至少要過濾到幾十個才能進行管理吧。

• IDS (NIDS如Snort，HIDS如OSSEC)
• Analysis (Splunk, 或是 Check_MK, Cacti的一些簡單filter)
• Management (Check_MK 或 Cacti，看是著重告警還是視覺化) 

AlphaGo

好像不少人對於人類輸給AlphaGo很失落。還好我在理學院時，本來就無法用電腦甚至超級電腦做出任何研究創舉來。即便到了今天，電腦的天災預報模式還不一定好過有經驗的預報員判斷，就算是日本或美國NASA的水平也一樣，突破不了四成的準確度。這使得我們的老師同學們本來就不對電腦預報有太大期望。但跟工學院的人聊天，發現他們對電腦的信心還真是莫名的大。所以AlphaGo這個事，我只感覺是他「算術」很快，但算術本身還是無法創造藝術文化吧？那輸給他也沒什麼。倒是覺得若將來有個算術快的人工智慧當手下是挺方便的，呵呵。

Global Black Markets

以前聽到Black Markets，販賣的物件大概就是肉雞(bot net)，偷拍照之類的貨。然而比特幣風行之後，金流更難追查的大環境下，促使黑暗市場開始販賣更勁爆的實體貨，從槍枝軍火到偽造護照都有，台灣護照一本才US$15。信用卡號盜刷無效，還提供無效退費服務。虛擬世界偷到的資訊，回到實體世界來應用，真是達到虛實整合的境界啊。

2016 Global Risks

2016 Global Risks 有兩項令人注意的資安問題：

• Cyber Attack.
• Critical Infrastructure Breakdown.

這兩項是可以同時作用的。之前只有在Die Hard 4.0，看過針對社會基礎建設的Cyber Attack。日前烏克蘭戰爭中，他們的電廠遭到power cut，同時礦業與火車系統也遭到攻擊。也難怪美國已將網路安全預算，提升到超過台灣GDP，因為在萬物聯網的時代，虛實之間的界線早已模糊，套句流行話叫「虛實整合」吧。

Importance of Green IT

BSI的在資安大會的報告提到了Green IT，從2016 global risks的角度講節能減碳的重要性，還挺有意思的。至少溫度與物種的比例關係，用氣象模型計算的結果差不多。

• 溫度上升，物種減少。(比例我忘了，1度對1.5%的物種嗎？)
• 物種減少，生物鏈失衡，疾病流行，從SARS, MERS到流感都是。
• 人類與地球的永續發展受到威脅。
• 因此，Green IT的節能減碳，長遠看可以保障人類社會的繼續發展。

SOC, Security Operations Center

SOC比NOC (Network Operations Center) 的建制，至少多了一個重要的項目，就是analysis system。畢竟NOC監測的都是已知項目的正常與否，而SOC經常要面對未知的攻擊來進行分析。至少包含以下三項。

• IDS (Intrusion Detection System) 入侵偵測系統。
• analysis system 分析系統。
• mamagement system 管理系統。

OTT signal hub

衛星電視這行，有種服務是提供衛星上鏈：電視台用專線傳送訊號給衛星公司，該公司接收大家的訊號，uplink到衛星上，然後地面的使用者平台像Cable TV (有線電視)等等，接收衛星訊號再把電視頻道輸送給觀眾。在這樣的結構下，衛星就是個signal hub，是個訊號仲介的生意。

在OTT(Over-the-top)的年代，類似的架構可以通過Internet做到：電視台通過專線或Internet傳送streaming給hub server，hub server再relay或transcode或其他加工，再push or pull給OTT providers。這種服務的彈性要比傳統的衛星relay要大，可以針對內容進行改動(ex. copyrights)與組合。

NAS clustering with GlusterFS, part 2

一個有效可擴展的clustering基本架構，應可以設計如下：

• (GW1) eth0 -- GlusterFS A -- eth1 (INT1) 
• (GW2) eth0 -- GlusterFS B -- eth1 (INT2)
• (GW3) eth0 -- GlusterFS C -- eth1 (INT3)

INT network 作為 A, B, C 之間的內網傳輸通道，以保障cluster內部的資料交換效能最大化。此外若有其他critical可控制流量的usage，也可考慮走INT。INT愈強壯愈好，1Gbps跑起來還可以，能有10Gbps比較好。

GW network則是DNS round robin走的外網通道，可以是http，CIFS，FTP之類的，those not always connected。for persistent connection like NFS，瓶頸就會卡在掛載的那個GW上。因GW可以round robin，1Gbps大概可以應付得來。

廣告模式

content is king. 好的內容一旦要自負盈虧，就要談盈利模式了。在「免費」充斥的兩岸三地，內容收費模式是否能成功，還得觀察。Netflix做了很多功課才進到台灣，上架的片單讓人耳目一新，不同於台灣各家現有的貨。收費US$9比美國的US$8稍貴，專攻大牌電影與自製影集，值得觀察。

另一通用的是廣告模式。內容夠好，觀眾捨不得離座，傳統的線性廣告也很有效，Hulu就走這條路；內容不夠強，就得靠花樣百出的露出技術「強迫」觀眾看到，根本上不靠譜的。若不走會員收費路線，硬實或獨特的內容，就成了廣告盈利的關鍵。這也是為何廣告大盤會逐年重視獨立媒體的原因，原因無他，獨特分眾，效益精準。

NAS clustering with GlusterFS

NAS建多了，RAID維護久了，到了雲時代的今天，就會很想把Storage pooling起來用。這樣管理集中，風險分散，資源運用效率也提高。Red Hat 支持的GlusterFS就很不錯，等於是跨主機的LVM，可以把數個NAS用JBOD或RAID1的概念串起來。

只要把NAS全部用 gluster peering做成cluster，接下來就是分散storage gateway讓效能瓶頸分散，至於如何應用這些gateway達到load balancing，就是application的問題了。以網站為例，做個DNS round robin，將頻寬壓力分散，而storage pooling將檔案壓力分散，就同時達到網路與硬碟效能最佳化的結構啦。

即時通訊安全

即時通訊安全，近年才比較為人重視。從MSN, Yahoo messenger開始，在通訊加密，存儲加密，隱私法規保障等等，日新月異。然而，有多少軟體確實做到每一步呢？起碼要：

1. 通訊過程加密。如果在網路上還在傳明碼，那就太慘了。
2. 存儲加密。server端的資料保存若能做到這點，會令人更放心些，就算有心人從機房直接拷貝資料，還得花些功夫解密。
3. 隱私法規保障。若機房所在地還受到完善的法律保障，任何人不得以任何公私原因調用server資料，就更棒了。

第一點大概商用軟體都能做到，基本都用SSL吧，就看加密位元數多寡而已。天知道這些通用的加密方法是否有後門，就算都開源碼了，有多少人有能力檢視像是隨機函數(randomness)是否真隨機？歸根究底會變成高深的數學問題，連IPSec都被懷疑有瑕疵，而大家都用這麼久了...所以狠一點，得再找數學家開發獨有加密演算法，但CPU可能效率不彰吧，手機可能更耗電...

能做到第二點的軟體比較少了，愈普遍的軟體愈會被社會檢視這點。我甚至聽過有商用軟體「號稱」自己不存用戶資料，所以沒有server安全問題，糊弄大眾也不用這樣講吧？不過這確實做起來成本高些。

要做到第三點，大概只有超注重個人隱私權益的歐洲國家才有了，像冰島就是。