勝負難料的博弈：當 DeepMind “AlphaCode”對陣人類程序員。
最先進的 AI 成果，到底能不能解決現(xiàn)實世界中的編程問題？DeepMind 決定找出答案、以全新的視角看待編程工作，同時探索 AI 的能力邊界。
除了這個核心問題以外，這番嘗試同樣讓我們在“什么可以自動化”、“什么不能自動化”以及對當前數(shù)據(jù)集中錯誤的理解方面獲益匪淺。
雖然 AI 提供的解決方案并不比人類程序員更好，但這背后隱藏的深遠意義也許才是最值得我們探究的巨大寶藏。
總部位于倫敦的 DeepMind，屬于谷歌母集團 Alphabet 旗下的一家 AI 子公司。憑借著在國際象棋和圍棋領(lǐng)域的“超人類”表現(xiàn)，他們已經(jīng)在 AI 研究中取得載入史冊的戰(zhàn)績。不久之前，他們又證明 AI 模型在預(yù)測蛋白質(zhì)折疊結(jié)構(gòu)方面也能比人類做得更好。
今年 2 月，DeepMind 宣布他們開發(fā)出了一套名為 AlphaCode 的系統(tǒng)，打算作為 AI 世界的代表競逐編程比賽。它將參加編程競賽網(wǎng)站 CodeForces 舉辦的十場編程比賽，與單場至少 5000 名人類程序員一決高下。
結(jié)果如何？DeepMind 在一篇博文中提到，AlphaCode“在競賽選手里處于中游水平”，“這標志著 AI 代碼生態(tài)系統(tǒng)首次在真實編程競賽中具備一定的競爭力?！?/p>
DeepMind 還指出，不少企業(yè)在招聘中也會引用競賽中的題目，使用類似的問題篩選進入面試輪的求職者。
這篇博文還援引 CodeForces 網(wǎng)站創(chuàng)始人 Mike Mirzayanov 的發(fā)言稱，AlphaCode 的表現(xiàn)超出他的預(yù)期。他還補充道，“我剛開始也持懷疑態(tài)度，因為即使是最簡單的競賽問題也不只是要求實現(xiàn)算法，更要求參賽者能夠發(fā)明算法（這也是最困難的部分）?！薄癆lphaCode 確實成為一位前途可期的競爭對手，我急切想要看到它在一路成長后能達到怎樣的高度！”
DeepMind 研究人員們在一篇論文中承認，AlphaCode 的出色表現(xiàn)離不開海量算力的支持。高性能計算領(lǐng)域常用的 petaFLOP 單位也稱千萬億次，代表每秒執(zhí)行 1 千萬億次浮點運算。而以 24 小時為周期按這個速率不間斷運行，那么一天之內(nèi)完成的浮點運算量將高達 86400 千萬億次。
“而我們的模型在采樣與訓練方面共投入了幾百天，對應(yīng)的算力消耗可想而知。”
論文腳注還補充道，負責運行這項任務(wù)的谷歌數(shù)據(jù)中心“購買了等同于電力消耗量的可再生能源?！?/p>
研究人員在一篇長達 73 頁的論文中解釋了自己的成果（尚未發(fā)表、也未完成同行評議）。作者們寫道，這套系統(tǒng)首先利用公共 GitHub 存儲庫中的代碼進行“預(yù)訓練”，具體方式類似于早期 AI 驅(qū)動型代碼建議工具 Copilot。（為了避免 Copilot 方法引發(fā)的一些爭議，AlphaCode 特意過濾了訓練數(shù)據(jù)集，專門選擇許可公開發(fā)布的代碼。）
之后，研究人員又使用一套包含競爭性編程問題、答案以及測試用例的小型數(shù)據(jù)集對系統(tǒng)開展進一步“調(diào)優(yōu)”，其中不少素材就是從 CodeForces 平臺上直接抓取的。
結(jié)果就是，目前網(wǎng)上發(fā)布的編程競賽問題和答案數(shù)據(jù)集中存在問題。在已經(jīng)通過測試用例的程序中，至少有 30% 其實并不正確。
于是乎，研究人員們建立了一套包含更多測試用例的數(shù)據(jù)集，希望更嚴格地控制產(chǎn)出正確性。他們認為這將大大減少能通過測試，但實際上并不正確的程序數(shù)據(jù) —— 最終，這一比例從 30% 下降到僅 4%。
DeepMind 在博文中指出，為了做好參與編程挑戰(zhàn)賽的準備，“我們針對每個問題創(chuàng)建了大量 C++ 與 Python 程序?！薄爸?，我們把這些答案過濾、聚類并重排為一套包含 10 個備選程序的小型集合，專門用于外部評估?！?/p>
DeepMind 的博文提到，“必須承認，現(xiàn)有 AI 系統(tǒng)的能力還不足以在這些比賽中出色解決各項問題。大規(guī)模 transformer 模型雖然展現(xiàn)出了生成良好代碼的可能性”，但仍然需要配合“大規(guī)模采樣與過濾”。
博文解釋道，研究人員的發(fā)現(xiàn)證明了深度學習的潛力，看起來這項技術(shù)有望完成需要批判性思維的任務(wù) —— 具體到這次試驗，就是以代碼形式為給定問題給出解決方案。DeepMind 在博文中將這套系統(tǒng)描述為公司“破解智能”這一重大使命的重要一步，公司網(wǎng)站則把這項使命描述為“開發(fā)出更通用、能力更強的問題解決系統(tǒng)”，也就是傳說中的“通用人工智能”。
博文最后補充道，“我們希望這樣的結(jié)果能夠給競爭激烈的編程社區(qū)帶來啟發(fā)?！?/p>
DeepMind 的博文還引用了谷歌軟件工程師、“世界級”杰出程序員 Petr Mitrichev 的評論。
AlphaCode 在編程領(lǐng)域取得的進展給他留下了深刻印象。Mitrichev 點評道，“解決競爭性編程問題是個極為艱難的挑戰(zhàn)，這要求參賽選手擁有良好的編碼技能與創(chuàng)造性的問題解決能力?！?/p>
Mitrichev 還對 AlphaCode 生成的六個解決方案做出評論，指出提交內(nèi)容中包含一些“無害、但也無用”的代碼片段。
在其中一項提交中，AlphaCode 聲明了一個名為 x 的整數(shù)類型變量，但之后卻一次也沒用過。在另一項圖遍歷提交中，AlphaCode 上來就按圖內(nèi)深度對所有相鄰頂點進行了一輪排序，最后證明這個操作也完全沒必要。還有一個需要計算密集型“暴力”解決的問題，AlphaCode 寫下太多額外代碼，導(dǎo)致其解決方案的計算用時高達人類選手的 32 倍。
Mitrichev 寫道，事實上，AlphaCode 就是直接實現(xiàn)了一套大規(guī)模暴力解決方案，幾乎沒有使用任何調(diào)優(yōu)技巧。
而且這套 AI 系統(tǒng)也跟人類程序員一樣，會遇上解決不了的問題。Mitrichev 從一項提交中看出，如果實在找不到解決方案，AlphaCode“表現(xiàn)得就像個絕望的人類程序員?！彼_始重復(fù)問題中的示例場景，“徒勞地想把示例轉(zhuǎn)化成問題的答案?！?/p>
“人有時候也會這么做，但答案怎么可能就在題干里呢？從這個角度看，AI 跟人還挺像的?！盇lphaCode 在這場比賽中的表現(xiàn)平平無奇、乏善可陳。https://t.co/WMq7oHNZ5s
— Hacker News (@newsycombinator) 2022 年 2 月 6 日
那么，AlphaCode 的比賽成績究竟如何？根據(jù) CodeForce 計算得出的程序員評分（使用與棋手排名相同的標準 Elo 評分系統(tǒng)），AlphaCode 的最終成績?yōu)?1238 分。
但更有趣的是，我們可以用這個分數(shù)跟過去六個月以來參與 CodeForce 競賽的所有程序員進行對比。研究人員在論文中指出，AlphaCode 的評分“在所有用戶中排名前 28%。”
但也有人對這樣的結(jié)果一笑置之。
蒙特利爾麥吉爾大學 AI 研究員、兼職教授 Dzmitry Bahdanau 在推文中提到，CodeForce 中的大部分參與者都是高中生或者大學生；而且考慮到預(yù)訓練 AI 系統(tǒng)背后的超強算力支持，“作答時間”這個關(guān)鍵指標對 AI 選手的影響其實很小。
不過最重要的是，AlphaCode 的作答過程涉及對大量 AI 生成代碼進行過濾，從中找到真正能夠解決問題的部分。所以換個角度看，這意味著“AlphaCode 生成的絕大多數(shù)程序都是錯的?！?/p>
所以，盡管這確實是個很有希望的探索方向，但 Bahdanau 并不覺得 AlphaCode 算得上是編程里程碑：“它達不到舉世無雙的棋手 AlphaGo，或者顛覆了整個科學領(lǐng)域的 AlphaFold 那樣的高度。我們還有很多工作要做。”
但 AlphaCode 的橫空出世，總不會毫無影響吧？在論文最末尾，AlphaCode 的研究人員們寫下兩句話，認為這種代碼生成能力“有望在系統(tǒng)內(nèi)實現(xiàn)可遞歸編寫與自我改進功能，意味著系統(tǒng)可以通過自我迭代變得越來越先進”。好可怕——此言一出，種種反烏托邦場景已經(jīng)浮現(xiàn)在我們的腦海當中。
他們還在論文中提到另一個恐怖的可能性：“人類程序員的供應(yīng)量可能持續(xù)增加，但需求也許將逐漸減少。”
好在歷史上的不少先例給我們吃下了定心丸，論文認為“以往某些自動化編程實例（例如編譯器和 IDE）只是把程序員推向更高的抽象層級，同時降低了編程工作的準入門檻。”這其實是好事。
但少數(shù)比較警覺的程序員已經(jīng)開始關(guān)注 AlphaCode 的動向。最近，Hacker News 上的一名編程學生就表示自己出現(xiàn)了“AlphaCode 焦慮癥”，“現(xiàn)在我覺得自己就像在跟時間賽跑，特別害怕自己為之付出一切的職業(yè)突然就徹底消失了。”
面對 CodeForces 發(fā)表的一篇宣稱“未來已來”的博文時，一位憂心忡忡的程序員甚至舉起了倒退的大旗，堅稱“人類的自動化探索應(yīng)該有其限度?！边@位程序員還尖銳地補充道，“DeepMind 那幫負責開發(fā) AlphaCode 的程序員肯定“以為自己是不可替代的；錯，他們將是第一批被取代的家伙?！?/p>
以上這些人明顯是覺得 AlphaCode 的表現(xiàn)太強了，但也有人自信滿滿、覺得這套 AI 系統(tǒng)成績太差。第一位評論者的態(tài)度就非常明確，“這 AI 也太菜了。”
