來源:硅基立場
一個科學(xué)家,幾個月前寫了一篇文章,宣示了他和他的公司通過強大的人工智能解決全人類身心健康、心理疾病、貧困、和平、工作與生活的意義等諸多方面的美好善意。幾個月后,還是這名科學(xué)家,又突然發(fā)布了一篇文章,強烈呼吁不應(yīng)該讓任何一塊美國的芯片出口到中國,以限制中國人工智能的發(fā)展,維系人工智能的“單極世界”(我很震驚他會赤裸裸地使用這個詞匯)。這件事,怎么看都讓人覺得割裂,以及那么一絲絲虛偽。
這個人就是人工智能公司 Anthropic 的 創(chuàng)始人和 CEO Dario Amodei,一名意大利裔美國人、神經(jīng)物理學(xué)博士、資深 AI 科學(xué)家、昔日的 OpenAI 研究團隊靈魂人物之一、中國公司百度的深度學(xué)習(xí)實驗室早期員工、號稱將打造最強大和安全的 AI 的理想主義者、OpenAI 最重要的競爭對手的創(chuàng)始人,以及現(xiàn)在,美國對中國 AI 全方位無死角禁運最激烈的呼吁者,沒有之一。
盡管 Anthropic 和它旗下的 Claude 系列模型在中國公眾當(dāng)中的知名度相當(dāng)有限,但畢竟,它是目前世界上最受 AI 應(yīng)用開發(fā)者歡迎的大語言模型的提供者,在中國的 AI 研究人員和開發(fā)者群體中也有著相當(dāng)多的擁躉。但是一夜之間,很多中國的 AI 從業(yè)者公開表示:Anthropic 和 Amodei 本人失去了他們最基本的尊重。
這就是一篇“檄文”的效應(yīng)。
在這篇題為《關(guān)于 DeepSeek 和出口控制》的文章中,Dario Amodei 一方面云淡風(fēng)輕指稱 DeepSeek 取得的成就撼動美國 AI 的優(yōu)勢被夸大描述了,在表達對 DeepSeek- V3 模型創(chuàng)新肯定的同時,堅決不承認引發(fā)更大轟動效應(yīng)的 DeepSeek 推理模型 —— R1 的取得的突破(這廝在這一問題上的心思,是本文后面論述的重點)。他更不愿意承認的是 DeepSeek 模型在算力成本和算法效率上取得的成果—— 用一個自己也承認”未經(jīng)過證實”的 DeepSeek 有五萬張走私而來的英偉達 A100、H100 和 H800 顯卡的流言,力證 DeepSeek- V3 模型不可能用600萬美元的低成本訓(xùn)練而成。顯然,Amodei 不能接受 DeepSeek 以算法效率創(chuàng)新替代算力堆砌這個被日益普遍承認的路徑,因此不惜用一個連他自己也知道未經(jīng)驗證的 DeepSeek 走私了大量高端顯卡的前提實現(xiàn)了這個論述。但他又表述美國對中國的算力出口管制沒有失效——他可能恰好忘了他前面的論述建立在 DeepSeek 走私的假設(shè)上。
來源:https://darioamodei.com/on-deepseek-and-export-controls
我們還原一下他的論述邏輯線條:DeepSeek 的影響力被夸大了—— V3 確實是個創(chuàng)新,但不可能花那么少的錢——聽說他們走私了芯片——所以他們確實花了更多的訓(xùn)練成本—— DeepSeek 沒有原創(chuàng),它站在我們的研究基礎(chǔ)上當(dāng)然成本更低—— R1 推理模型絕對沒有創(chuàng)新,只是復(fù)現(xiàn) o1 的結(jié)果(裝作沒看見 OpenAI 已經(jīng)承認了 DeepSeek 在推理上的成果是獨立的發(fā)現(xiàn))—— 出口管制沒有失效,是對的(忘了自己前面的論述前提是 DeepSeek 獲得了走私顯卡)—— 我們要打造一個 AI 的單極世界,中國絕對不能做出與我們水平相當(dāng)?shù)哪P停ㄍ碎_頭說過 DeepSeek 不足為懼)—— 因此別說 H100 和 H800,最低端的 H20 都不能出口給中國,這樣中國就贏不了了。
你看,一個處處講邏輯和推理的科學(xué)家,試圖用一篇萬字長文論證一個無法自圓其說,但又要在形式上處處講邏輯的推理的結(jié)論,他就會顯得如此的笨拙,以及虛偽。
這并不是 Dario Amodei 第一次呼吁加強對中國的算力管制,你也沒法要求一個美國的人工智能科學(xué)家對中國有與生俱來的善意,但他在 DeepSeek 引發(fā)了硅谷的廣泛關(guān)注、肯定和一定程度的恐慌的背景下,專門鼓噪對中國的算力出口進一步管制,以及極力否定 DeepSeek 在算力效率優(yōu)化和模型推理方法上的創(chuàng)新,是非常值得關(guān)注和解析的現(xiàn)象。沒人期待他對中國的善意,但他對中國和中國誕生的 AI 公司 DeepSeek 的惡意和怨念如此之重,是很值得玩味的。
盡管極力推測 DeepSeek-V3 的訓(xùn)練成本不止于600萬美元,但好在 Dario Amodei 確實承認了 V3 是真正的創(chuàng)新,但他又非要強調(diào)這并非突破性的,而是“持續(xù)成本降低曲線上一個預(yù)期的點”。他認為“不同之處在于,第一個展示預(yù)期成本降低的公司是中國公司,這在以前從未發(fā)生過,并且具有地緣政治意義”。這種夸人又不想真心實意夸的樣子,真的是讓人看著都累。我倒寧愿看 Amodei 直接說:“美國公司都在做模型成本下降的創(chuàng)新,只是 DeepSeek 碰巧第一個做出來了而已”,可偏偏直爽不是他具備的品質(zhì)。
到了 DeepSeek-R1 的時候,Amodei 倒是直爽了起來,他絕對不肯承認 R1 是突破性的成果,在這個問題上不留任何余地,不顧就連訓(xùn)練出強化學(xué)習(xí)模型 o1 和 o3 的 OpenAI 都承認了 R1 在強化學(xué)習(xí)的方法上做出了原創(chuàng)性的突破,也裝作對那些指出 DeepSeek 的強化學(xué)習(xí)擺脫了人類反饋的介入,是大語言模型 “AlphaGo 時刻”的研究結(jié)果視而不見。他堅持說:R1 只是在 V3 的基礎(chǔ)上進行了強化學(xué)習(xí),它的所有動作都是在復(fù)現(xiàn) o1,每一家美國 AI 公司都在進行這方面的推理嘗試,這是技術(shù)趨勢,跟開源也沒有關(guān)系,只是 DeepSeek 恰好先做出來了而已。
我們倒不必因為 Amodei 的嘴硬而忿忿不平,畢竟作為公認的 AI 領(lǐng)域卓有成就的研究者,Amodei 對一些關(guān)鍵問題的看法能在很大程度上影響 AI 業(yè)界、風(fēng)險投資界、華爾街乃至華盛頓特區(qū)對 DeepSeek 現(xiàn)象的看法。這也是他為什么必須跳出來的原因。他不是在為 OpenAI 鳴不平(他跟 OpenAI 之間的恩怨可深了去了),而是在這個時候,他必須出來給他一手創(chuàng)辦的 Anthropic 的下一步動作,找一個有臺階的鋪墊。
一個非常顯著的事實是:Anthropic 迄今沒有一款正式對外發(fā)布的推理模型。盡管 Dario Amodei 在接受采訪時曾公開表示他對單獨存在的推理模型不屑一顧——當(dāng)時,他主要瞄準的當(dāng)然是 OpenAI。
Amodei 的觀點是:推理沒有那么難,基座模型更加重要。跟他暗戳戳地夸 DeepSeek-V3 有創(chuàng)新但在編程等方面的評測仍弱于他的 Claude 3.5 Sonnet 模型差不多,他公開承認過 o1 取得的突破,但又不認為強化學(xué)習(xí)是實現(xiàn)模型推理能力增強的最佳方法。他表示,在一些具體的場景和實踐方面,作為一款預(yù)訓(xùn)練模型的 Claude 3.5 Sonnet 展現(xiàn)了并不弱于 o1 的推理能力。因此,他不認為推理模型和普通模型應(yīng)該分開,基于預(yù)訓(xùn)練的基座模型仍然是更重要的,可將推理能力包容進去。
因此,非常可能發(fā)生的是:Anthropic 計劃用一種與 OpenAI 和 DeepSeek 不同的方式,實現(xiàn)模型推理能力的躍遷,它將很可能在 Claude 的下一代旗艦基座模型中得到體現(xiàn),而且仍然采用以基于人類反饋的強化學(xué)習(xí)(RLHF)為主的方式,輔之以其它的強化學(xué)習(xí)方法(Amodei 自己說的)—— 這在路徑上與 OpenAI o1的思維鏈(CoT)和DeepSeek R1在 AI 自主強化學(xué)習(xí)的突破都有顯著不同。
完全脫胎于 OpenAI、將 OpenAI 視作最直接(幾乎是唯一)競爭對手的 Anthropic,某種意義上,是 OpenAI 在 前 GPT-4 時代一系列大語言模型理念的最原教旨主義信奉者。Amodei 多次站出來否認隨著訓(xùn)練數(shù)據(jù)枯竭,預(yù)訓(xùn)練出現(xiàn)了“撞墻”和規(guī)模效應(yīng)遞減的現(xiàn)象,并一再強調(diào)經(jīng)典意義上“Scaling Law”(即模型規(guī)模持續(xù)擴大才能導(dǎo)致性能增強)的重要性。AI 研究者和開發(fā)者在真切地期待 Anthropic 打破 Scaling Law 和預(yù)訓(xùn)練模型的瓶頸,推出新一代的推理能力更強的旗艦預(yù)訓(xùn)練模型。
但迄今為止,Anthropic 還沒推出這個東西。以它的出色模型訓(xùn)練和從來不搞期貨發(fā)布的歷史記錄,有理由相信 Anthropic 正在緊張地準備這個推理能力更強的預(yù)訓(xùn)練模型,以證明 OpenAI 的 o1 不是實現(xiàn)推理能力提升的最佳路徑。但隨著 DeepSeek-V3 的推出,他們需要證明的東西突然一下子多了起來。
首先,DeepSeek-V3 繼 R1 之后進一步證明了強化學(xué)習(xí)的獨立推理模型的路徑是靠譜的,甚至可能是最佳的;其次,DeepSeek-V3 驗證了強化學(xué)習(xí)是能不需要人類反饋就能讓 AI 自主進行深度思考的(Dario Amodei 可是基于人類反饋的強化學(xué)習(xí)的主要發(fā)明者之一);再次,DeepSeek-V3 證明了實現(xiàn)這一切的訓(xùn)練成本是可以明顯降低的。
這也就意味著,一旦 Anthropic 推出新的推理能力更強的預(yù)訓(xùn)練模型,它要回答比過去更復(fù)雜的問題:為什么不以強化學(xué)習(xí)為主要的訓(xùn)練模式?基于人類反饋的強化學(xué)習(xí)究竟比 R1 代表的自主強化學(xué)習(xí)優(yōu)勢在哪里?以及,你的訓(xùn)練成本是多少?有沒有更便宜、效率更高的方式?API價格能不能降下來?(Claude API 是世界上最貴的,而 Deep Seek幾乎是最便宜的)
而這些棘手的問題和麻煩,都是 DeepSeek 帶來的。
因此,在推出自己的推理能力更強的新模型之前,Anthropic 的“靈魂人物” Dario Amodei 只能主動跳出來,極力降低和打消人們對DeepSeek-R1 先入為主的好印象:承認它是創(chuàng)新和突破是萬萬不能的,承認它成本真的降低了也是難以接受的。
達里奧·阿莫迪(Dario Amodei)(來源:維基百科)
這是兩條路線的問題,有點“你死我活”的味道。而這兩條路線,某種程度上也是在大語言模型的“后預(yù)訓(xùn)練時代”,經(jīng)典的硅谷式模型訓(xùn)練和中國式模型訓(xùn)練的兩條路徑的不同表征:前者憑借算力資源的優(yōu)勢,通過算力堆砌的粗放式暴力美學(xué)提升模型性能;后者以算法效率作為重點,通過架構(gòu)和工程的創(chuàng)新降低訓(xùn)練成本,同時提升模型性能。
Anthropic 甚至是比 OpenAI 更崇尚算力規(guī)模、模型規(guī)模和暴力美學(xué)的代表,這也導(dǎo)致了 Dario Amodei 這篇新發(fā)表的文章,不僅暗戳戳地釋放了對 DeepSeek 的惡意,更不加掩飾地將這種惡意投射給了整個中國的 AI 領(lǐng)域。
這不是 Dario Amodei 第一次公開呼吁加強對中國的算力出口管制,他之前就在接受采訪中表達過對華算力出口管制必要且需加強的觀點。美國的朋友們不應(yīng)該對此表示遺憾,中國的朋友們也不必要為此憤怒,他一貫如此。
但借著“ DeepSeek 效應(yīng)”,Amodei 不失時機地撰文幾千字,以 DeepSeek 背后是中國人工智能可能與美國并駕齊驅(qū)的趨勢,呼吁進一步加強對中國的算力管制,就顯得非常有意思了。相信我,當(dāng)一個美國的科學(xué)家或企業(yè)家公開地表達對中國過于親密或敵視的態(tài)度時,他們的個人訴求是第一位的。
讓我們先重新審視一下 Anthropic 是什么。
毫無疑問,它是美國也是世界當(dāng)下最優(yōu)秀的人工智能公司——有時甚至沒有之一,Dario Amodei 是它在技術(shù)上的靈魂人物。比起貶低 DeepSeek 和談及算力出口管制時的自相矛盾和忸怩作態(tài),他在談?wù)撈鹑斯ぶ悄艿脑妇啊⒕窒藓徒忉尵唧w人工智能術(shù)語和理論的時候,呈現(xiàn)的確實是一種令人信服的理智、克制、清晰和精準,比他的前同事、確實不太懂技術(shù)的 OpenAI 首席執(zhí)行官 Sam Altman 令人信服得多。
當(dāng)然,作為 OpenAI 的主要競爭者,Anthropic 令外界印象最深的標簽是“安全”,這也是 OpenAI 最被詬病的地方。當(dāng)然,它也確實為安全做了很多,比如將基于人類反饋的強化學(xué)習(xí)(RLHF)無處不在植入模型訓(xùn)練全過程的“Constitutional AI” (憲法式人工智能)原則?!鞍踩笔?Anthropic 的賣點,有的時候也變成了它的負累。
2024年,Anthropic 在企業(yè)級市場搶走了 OpenAI 15%的市場份額,當(dāng)然是因為Sonnet 3.5 模型確實強大,另一方面則是拜“安全”的護身符所賜。不過仔細想想,主打“安全”,除了瞄準的是企業(yè)用戶,還誰理應(yīng)是主要的買家?
答案顯而易見:政府。準確地說,是美國政府。
可在參與聯(lián)邦政府和相關(guān)部門的項目上,Anthropic 作為后來者,顯然沒有 OpenAI 吃香。特朗普2.0 時代的首個AI 大項目——“星際之門”(Stargate),話事者是白宮,主要參與者是 OpenAI 和軟銀,沒有 Anthropic 的份兒。
盡管 Dario Amodei 隨即在達沃斯論壇上奚落特朗普政府的“星際之門” 是“一團混亂”,但很顯然,沒有哪家 AI 企業(yè)比 Anthropic 更希望參與美國政府主導(dǎo)的項目。為此,他也干過一系列自相矛盾的事:
一方面,在特朗普即將正式就任前的1月6日,Dario Amodei 在《華爾街日報》發(fā)表署名文章《特朗普能確保美國 AI 的領(lǐng)先》,主動合作的投石問路頗為明顯。
另一方面,上一屆民主黨政府任期尾聲推出的備受爭議、致力于加強監(jiān)管、要求人工智能企業(yè)與政府主動分享模型研究成果的《前沿人工智能模型的安全與保障創(chuàng)新法案》,幾乎遭到了硅谷來自進步和保守陣營的一致反對,最后被加州州長紐森拒絕簽署。而我們的 Dario Amodei,幾乎是全硅谷唯一贊成這一法案的人工智能企業(yè)創(chuàng)始人。
過去,我曾經(jīng)天真地認為 Anthropic 身上有早期 Google 的影子,因為這家企業(yè)將透明化、可解釋性和道德置于技術(shù)與產(chǎn)品的底層,有理想主義的光輝。可是,早期的 Google 是將這種原則內(nèi)置在創(chuàng)始人和團隊的價值內(nèi)核里的,無論如何都并不主張靠監(jiān)管和行政意志實現(xiàn)這一切。Google 的兩名創(chuàng)始人,從來也沒試圖將自己規(guī)訓(xùn)為白宮的買辦。但我們的 Dario Amodei 可不是這樣。
可惜的是,充斥著硅谷新支持者的特朗普內(nèi)閣,在人工智能發(fā)展和監(jiān)管上的理念與拜登內(nèi)閣大相徑庭。至少目前看來,這個群體并不太買 Dario Amodei 的賬。在 Amodei 發(fā)表了那篇呼吁加強對華算力管制的奇文之后,支持特朗普的風(fēng)險投資機構(gòu) Andreessen Horowitz 創(chuàng)始人Marc Andreessen 就出來打臉了:“閉源、不透明、吹毛求疵,尋求政治操縱與開源和免費的對決,可不是美國需要的贏的方式”。
某種意義上,一心想獲得聯(lián)邦政府大單、希望參與國家級人工智能“大項目”,拜登內(nèi)閣時期無條件支持 AI 監(jiān)管,特朗普當(dāng)選后又吹捧特朗普才是確保美國 AI 領(lǐng)先的大救星的 Dario Amodei,目前事實上陷入的是生態(tài)上的孤立。他并不在美國 AI 政策制定的核心圈子里,但他又非常想進去,這就讓他必須表現(xiàn)出一個更激進和決絕的姿態(tài),獲得這張入場券。
在這個時候,DeepSeek 出現(xiàn)了,在強化學(xué)習(xí)的路徑上搞得他有些被動,但又給了他一個激進表態(tài)遏制中國人工智能發(fā)展的好機會,偏偏 Anthropic 的模型訓(xùn)練路徑依賴的又是算力堆砌的規(guī)模擴張,讓他不愿意相信算法效率和工程優(yōu)化真的能降低算力成本,而相信卡死算力的脖子就能斷了中國 AI 的前路。而這個主張,偏偏又是白宮最容易聽懂和最可能接受的。于是,Amodei 如此癡迷于呼吁更嚴厲的算力出口管制,也就不難理解了。
還是忍不住感慨一句:美國新一代人工智能企業(yè)的核心人物——無論 OpenAI 的 Sam Altman 還是 Anthropic 的Dario Amodei,甚至包括 Meta 的扎克伯格和 Scale.ai 的 Alexandr Wang,他們和他們的事業(yè)接受美國“國家主義”的規(guī)訓(xùn)是如此的自然和迅速。而中國的大多數(shù)人工智能企業(yè)家——最新的代表就是 DeepSeek 和他的創(chuàng)始人梁文鋒接受的“規(guī)訓(xùn)”則是世界主義和全球化的。這真是一個有意思的現(xiàn)象。