近日 ，第26屆操作系統(tǒng)原理大會(huì)（SOSP）在上海舉行，來(lái)自亞洲、歐洲、北美等地區(qū)的高校、學(xué)術(shù)機(jī)構(gòu)和眾多科技企業(yè)研究人員齊聚一堂。阿里巴巴受邀參加此次會(huì)議，除在展區(qū)展示系統(tǒng)軟件技術(shù)的同時(shí)，副總裁周靖人和其他3位阿里高級(jí)別專家在BOF環(huán)節(jié)向參會(huì)人員介紹了阿里在數(shù)據(jù)庫(kù)、計(jì)算、機(jī)器學(xué)習(xí)、網(wǎng)絡(luò)等領(lǐng)域的多項(xiàng)重點(diǎn)技術(shù)。

SOSP和另一個(gè)計(jì)算機(jī)系統(tǒng)領(lǐng)域會(huì)議OSDI同被譽(yù)為操作系統(tǒng)原理領(lǐng)域的奧斯卡，擁有極高的學(xué)術(shù)地位，參會(huì)人員在學(xué)術(shù)界、工業(yè)界取得的成績(jī)是衡量能否參加SOSP的重要指標(biāo)之一。本屆SOSP首次落地中國(guó)，側(cè)面反映出中國(guó)的科技實(shí)力正在世界范圍內(nèi)得到肯定。

（阿里巴巴BOF現(xiàn)場(chǎng)）

在主題為“Big Data Infrastructure at Alibaba：Challenges and Opportunities”的BOF環(huán)節(jié)，阿里集團(tuán)副總裁周靖人表示：“阿里經(jīng)濟(jì)體橫跨電商、金融、物流、云計(jì)算、大數(shù)據(jù)、全球化等方方面面。2016年GMV(交易總額)突破5000億美元、在零售平臺(tái)上的年度活躍消費(fèi)者達(dá)到4億多，差不多相當(dāng)于中國(guó)總?cè)丝诘?/3；移動(dòng)月度活躍用戶更高達(dá)5億多。如此大規(guī)模的用戶數(shù)、交易數(shù)，讓阿里擁有世界上最復(fù)雜、最豐富的計(jì)算場(chǎng)景、網(wǎng)絡(luò)場(chǎng)景、機(jī)器學(xué)習(xí)場(chǎng)景，也讓阿里巴巴成為世界上最大的技術(shù)練兵場(chǎng)。”

（阿里集團(tuán)副總裁周靖人<右四>和參會(huì)學(xué)者合影）

周靖人認(rèn)為正是基于這樣的背景，使得阿里在分布式計(jì)算、大數(shù)據(jù)處理、機(jī)器學(xué)習(xí)、圖計(jì)算、網(wǎng)絡(luò)系統(tǒng)等方面，取得了世界級(jí)的成果。希望通過(guò)SOSP，和操作系統(tǒng)領(lǐng)域的研究人員架起一座與學(xué)術(shù)界溝通的橋梁。

融合SQL和NoSQL優(yōu)勢(shì) 阿里在NewSQL上的實(shí)踐

阿里巴巴計(jì)算平臺(tái)研究員林偉在主題為“NewSQL for BigData Analyzing In Alibaba”的演講上，介紹了阿里大數(shù)據(jù)計(jì)算服務(wù)MaxCompute在NewSQL上所做的優(yōu)化和實(shí)踐工作。

“阿里推出NewSQL的目的就是要將SQL和NoSQL的優(yōu)勢(shì)結(jié)合起來(lái)”，林偉表示，從行業(yè)看，實(shí)現(xiàn)SQL和NewSQL兩者間平衡，有多個(gè)關(guān)鍵技術(shù)要做好，包括需要有強(qiáng)大的DAG執(zhí)行圖以突破MapReduce的束縛；需要強(qiáng)大的優(yōu)化器，實(shí)現(xiàn)存儲(chǔ)過(guò)程的支持，從單一語(yǔ)句到成千上萬(wàn)的存儲(chǔ)過(guò)程，從RuleBased Opt慢慢演變成CostBased Opt；以及通過(guò)分布式實(shí)現(xiàn)眾多用戶自定義函數(shù)（UDF）擴(kuò)展，進(jìn)而幫助用戶生成好的Plan。

（優(yōu)化器與UDF的結(jié)合效果）

林偉強(qiáng)調(diào)，強(qiáng)大的優(yōu)化器，能夠處理好NoSQL引入的模糊的數(shù)據(jù)特性，并且能夠優(yōu)化更大規(guī)模的任務(wù)從而發(fā)揮全局優(yōu)化的能力，需要cost-based的優(yōu)化器能夠很好感知數(shù)據(jù)和環(huán)境的變化，從而自適應(yīng)產(chǎn)生最優(yōu)的執(zhí)行計(jì)劃，并通過(guò)完整且豐富的UDF集合，做到邏輯計(jì)劃和物理計(jì)劃完美的融合，提高整個(gè)計(jì)算引擎的表達(dá)能力和系統(tǒng)智能優(yōu)化的能力。

據(jù)了解，阿里巴巴MaxCompute采用抽象的作業(yè)處理框架，將不同場(chǎng)景的各種計(jì)算任務(wù)統(tǒng)一在同一個(gè)平臺(tái)之上，共享安全、存儲(chǔ)、數(shù)據(jù)管理和資源調(diào)度，為來(lái)自不同用戶需求的各種數(shù)據(jù)處理任務(wù)提供統(tǒng)一的編程接口和界面。提供了數(shù)據(jù)上傳下載通道，NewSQL、機(jī)器學(xué)習(xí)算法、圖編程模型、流式計(jì)算模型多種計(jì)算分析服務(wù)，并且提供了完善的安全解決方案。MaxCompute正在通過(guò)阿里云平臺(tái)，為百萬(wàn)級(jí)企業(yè)級(jí)用戶提供服務(wù)。

首秀阿里新一代圖計(jì)算引擎FLASH

作為人工智能技術(shù)的有效工具之一，圖模型能夠整合多樣化的數(shù)據(jù)，幫助挖掘大數(shù)據(jù)隱含的深層信息和商業(yè)價(jià)值。圖數(shù)據(jù)分析的相關(guān)技術(shù)在阿里巴巴備受重視。

阿里巴巴計(jì)算平臺(tái)資深專家錢正平現(xiàn)場(chǎng)分享了阿里在圖分析方面的應(yīng)用案例，總結(jié)了圖存儲(chǔ)與查詢、迭代計(jì)算、模式匹配和可視化等方面的進(jìn)展，同時(shí)也提到了當(dāng)前面臨的挑戰(zhàn)。

(分布式系統(tǒng)發(fā)展趨勢(shì)與多樣化場(chǎng)景的挑戰(zhàn))

“圖計(jì)算”正變得越來(lái)越重要，阿里巴巴包含搜索推薦、個(gè)性化，以及智能風(fēng)控等越來(lái)越多的應(yīng)用場(chǎng)景，使用圖模型為異構(gòu)數(shù)據(jù)的分析提供了統(tǒng)一視圖。結(jié)合算法與可視化技術(shù)，在線服務(wù)能夠有效地捕捉數(shù)據(jù)之間的關(guān)聯(lián)、理解用戶行為和意圖。

錢正平表示，阿里巴巴已經(jīng)通過(guò)真實(shí)場(chǎng)景積累了很多解決方案，并正在研發(fā)新一代的圖計(jì)算引擎FLASH。相比業(yè)界和大部分開源圖計(jì)算系統(tǒng)關(guān)注相對(duì)簡(jiǎn)單的圖遍歷查詢和計(jì)算全圖屬性（如PageRank)，F(xiàn)LASH旨在幫助用戶更好的探索、發(fā)現(xiàn)、匹配，甚至在線檢測(cè)復(fù)雜的“圖模式”。另一方面，面對(duì)海量的圖數(shù)據(jù)與多樣化的場(chǎng)景（如上圖所示），我們?nèi)匀恍枰�更多易用、高效的大（圖）數(shù)據(jù)分析工具。“阿里巴巴期待與學(xué)術(shù)界同行和領(lǐng)域?qū)＜揖o密合作，通過(guò)解決真實(shí)問(wèn)題，共同探索關(guān)鍵的系統(tǒng)抽象和做出更多有影響力的創(chuàng)新”。

同時(shí)支持TCP和RDMA的軟硬件一體化網(wǎng)絡(luò)

阿里的人工智能，大數(shù)據(jù)和云業(yè)務(wù)的快速發(fā)展給網(wǎng)絡(luò)基礎(chǔ)設(shè)施提出了更高的要求，8年雙11業(yè)務(wù)規(guī)模增長(zhǎng)上百倍，系統(tǒng)的規(guī)模和復(fù)雜性以指數(shù)級(jí)上升，上層業(yè)務(wù)比以往任何時(shí)候都更需要高帶寬和低延遲的網(wǎng)絡(luò)。

例如在數(shù)據(jù)包的處理能力上，隨著摩爾定律趨于終結(jié)，CPU性能的提升開始落后于網(wǎng)絡(luò)端口速率和帶寬增長(zhǎng)，越來(lái)越多的CPU資源被用于網(wǎng)絡(luò)數(shù)據(jù)包的處理上，極大影響了上層業(yè)務(wù)提升性能的成本。與此同時(shí)，除了高帶寬、低延遲需求，上層業(yè)務(wù)仍然依賴網(wǎng)絡(luò)在提供復(fù)雜的安全、負(fù)載均衡和可視化等網(wǎng)絡(luò)功能的同時(shí)滿足高穩(wěn)定和高可用需求。

為應(yīng)對(duì)這些挑戰(zhàn)，阿里巴巴AIS(Alibaba Infrastructure Service)網(wǎng)絡(luò)團(tuán)隊(duì)開始了軟硬件一體化的高性能網(wǎng)絡(luò)建設(shè)，在支持RDMA物理網(wǎng)絡(luò)、基于智能網(wǎng)卡硬件加速的虛擬網(wǎng)絡(luò)等領(lǐng)域沉淀了諸多技術(shù)。

（阿里巴巴軟硬件一體化的高性能網(wǎng)絡(luò)）

阿里巴巴基礎(chǔ)設(shè)施高級(jí)專家劉永鋒介紹，阿里是國(guó)內(nèi)首家大規(guī)模支持RDMA的互聯(lián)網(wǎng)公司，網(wǎng)絡(luò)架構(gòu)同時(shí)支持TCP和RDMA，端到端的保證基于TCP和RDMA不同業(yè)務(wù)的高帶寬和低延遲。在保證性能的同時(shí)，阿里RDMA網(wǎng)絡(luò)架構(gòu)能夠做到兼容多家廠商的硬件，自動(dòng)化的監(jiān)控和隔離線上網(wǎng)絡(luò)故障。在網(wǎng)絡(luò)虛擬化方面，阿里經(jīng)過(guò)了兩代智能網(wǎng)卡的演進(jìn)，從基于可編程N(yùn)PU的vSwitch full offload到基于ASIC硬加速的快慢分離架構(gòu)，在滿足高性能、低成本的同時(shí)，通過(guò)軟件定義的方式給大數(shù)據(jù)業(yè)務(wù)提供了滿足業(yè)務(wù)靈活調(diào)度的虛擬網(wǎng)絡(luò)方案。

此次的SOSP會(huì)議上，阿里除了在BOF環(huán)節(jié)向參會(huì)者介紹阿里的部分重點(diǎn)技術(shù)外，來(lái)自系統(tǒng)軟件事業(yè)部的高級(jí)專家秦承剛在展區(qū)為更多參會(huì)者介紹了阿里的系統(tǒng)軟件內(nèi)容。

（清華大學(xué)陳渝<左一>、陸游游<右一>老師與阿里工程師合影）

據(jù)秦承剛介紹，系統(tǒng)軟件是運(yùn)行在阿里集團(tuán)所有機(jī)器上的基礎(chǔ)軟件，對(duì)阿里巴巴業(yè)務(wù)的運(yùn)行效率起到了非常關(guān)鍵的作用。此次重點(diǎn)展示的技術(shù)包括基于阿里場(chǎng)景的定制版Linux內(nèi)核--AliKernel，它實(shí)現(xiàn)了進(jìn)程間的資源隔離，面向容器場(chǎng)景的優(yōu)化等技術(shù)。Alikernel的代碼會(huì)回饋到社區(qū)，擁抱開源；基于OpenJDK定制的增強(qiáng)版JDK--AJDK，有效提升了阿里巴巴Java應(yīng)用的性能、吞吐能力和問(wèn)題解決的速度；以及資源調(diào)度系統(tǒng)Sigma、阿里自研的開源容器Pouch等。

在阿里展區(qū)不斷有知名高校學(xué)者前來(lái)交流，清華大學(xué)陳渝和陸游游老師與阿里工程師交流時(shí)表示：“我們更多的是看到阿里在商業(yè)上取得的成績(jī)，沒想到阿里在眾多工程技術(shù)領(lǐng)域也取得了好成績(jī)，這些創(chuàng)新工作在工程實(shí)踐上很有價(jià)值”。

一直以來(lái)，阿里巴巴都注重與學(xué)術(shù)界的合作，不僅推出首個(gè)全球性科研項(xiàng)目“AIR計(jì)劃”，更與全球知名高校和科研機(jī)構(gòu)成立研究中心，包括中國(guó)科學(xué)院-阿里巴巴量子計(jì)算實(shí)驗(yàn)室、UC Berkeley RISE 實(shí)驗(yàn)室、阿里巴巴-浙江大學(xué)前沿技術(shù)聯(lián)合研究中心，以及與浙江省政府、浙江大學(xué)共建的之江實(shí)驗(yàn)室，強(qiáng)烈地向外界傳遞出阿里巴巴搭建“取自全球、用至全球”的全球化技術(shù)創(chuàng)新生態(tài)體系理念。