Cloud hardware specs

1U servers would be enough for computing nodes, while 3U may be the minimum spec for storage components. 

 

NVIDIA GTC 2016

Here are some notes from NVIDIA GTC 2016, Taipei:

• 95 pc revolution -> 05 mobile revolution -> 15 AI revolution
• AI revolution started from 2012,  calculation usage of GPU. 
• realistic ray tracing for simulating real world, not only gaming beauty.
• It's not filtering, but re drawing

Internet VPN

Using VPN for Internet acceleration to bypass limitation of ISP may be a good idea. Recently Unseen.is announces its p2p vpn for such purpose, both improve privacy and speed.

cloud forum 2016

場地漂亮，選在松菸14F，view很好。可惜議程就是廠商大拜拜，基本沒有新東西。

Notes:

• hard to promote app, html5 instead.
• road digging is limited by law. therefore cable wiring on air is simpler.

API gateway

今年AWS的講者提醒大家喔，真要防範DDoS的攻擊，或是希望根本上運用到IaaS的好處，我們的應用得直接用他們的API，而不是傳統的VM跑在PaaS的方式，那樣才能將負載確實交給Infra來承擔。簡單說，我們不要動到任何MIS相關的作業，才能整個將MIS交給他們。總的說來，SaaS與IaaS才能從架構上做到這種切割分工。

• IaaS如AWS service，不要用EC2 computing開VM。所有對外服務，要用AWS給的，像儲存的S3啦，CDN的CloudFront等等。我們要用他們「組」出想要的架構。
• PaaS如OpenShift，是很接近SaaS的服務，因為OpenShift Host是Red Hat在管的。自己架的OpenShift，面臨的負載問題則是一樣要自己解決。
• SaaS如Google Apps，很明顯就是Google代管。負載就由他們處理啦。

GCP NEXT 2016

有空的話，GCP NEXT 2016的keynotes值得一看。老虛擬人Diane Greene講述了她從VMware到Google Cloud Platform的這段歷程，也提出了GCP的自我定位與願景。

• Security. Because sharing does matter in recent years.
• Machine Learning. Because Crowd Sourcing requires more efficient AI to simplify the flow, with those trained data. Just like AlphaGo.
• Cloud Transition. Helping enterprise to migration their traditional infra to cloud. 

Software Defined, Cloud compatible File service

檔案服務的歷史由來已久。但要升級到Software Defined, Cloud compatible，思路要換一下。不是非得用當紅的SDN, SDS才能做，而可以在基礎架構上改動，使其更有彈性。

• gateway service可用市售appliance或是iptables, pf。單獨跑在一台至多台VM上。SDN from Internet由此進。其實也就是老牌CDN概念。
• file service可用SFTP, FTP, CIFS。單獨跑在一台至多台VM上。SDN in intranet由此進。
• storage service可用NFS, iSCSI，單獨跑在一台至多台VM上，外掛給file service。
• 儲存空間由storage VM來管理。根據需要進行多份replication，如rsync, GlusterFS等等。其實就當做自己在調自己想要的RAID演算法，自己做SDS。

Software Defined Storage, SDS

Red Hat拿下Ceph之後，或說從GlusterFS開始，就大力的鼓吹Software Defined Storage (SDS)。GlusterFS已經是distributed FS的架構，而Ceph更進一步成為大家用OpenStack的Cinder服務首選，能調的地方要比GlusterFS多很多。基本unit的目前主流，是1 primary + 2 rep，Hadoop似乎也是這樣存三份於commidity hardware？不過很能調的SDS，應該就得配合彈性很大的SDN (Network)吧。

舉凡你要多少比例的IOPS與TB容量的取捨, MB/s的tuning，混用SSD, HDD, SAS甚至NVMe的儲存個體，10Gbps甚至40Gbps的混搭傳輸，sequential vs random R/W的調整等等。在充斥著DB, analytics, 以及近年竄紅的video streaming市場，都可對應到object, block, file based的整個cluster network。這個35 billion dollar market，似乎有10%蠢蠢欲動著擁抱新技術呢。

Software Defined IT

隨著組織擴大，IT系統的整合與花樣愈來愈多。基本的資料庫DB與檔案儲存一定有，但數量種類與scale-out的需求與時俱增。在其上的應用不外乎各種Business Intelligence (BI) 或 Operational Intelligence (OI)的應用，如廣告管理，媒資管理，協作平台，Real-time systems等等。

在預算跟人力有限的情況下，要能運用有限資源scale-out上述需求，從IT的software structure最好就是software defined，像近年流行的SDN (Network)，SDS (Storage)這些，廠商會標榜可以用commodity hardware就跑起來。不只降低預算，更有效的根據組織需求，將不同的software defined components根據所需的風險與效能，配給適量的硬體資源。總體又是由軟體定義而整合，從而達到硬體分散卻軟體整合的一大架構。說白了，雲架構不外乎就是這樣吧？各種infra服務分開又整合。