生成式AI競賽的背后,巨額碳排放不容忽視
二月初,谷歌與微軟先后宣布對他們的搜索引擎進行了重大改革。這兩家科技巨頭都在構建或購買生成式人工智能工具上投入巨資,這些工具能使用大型語言模型來理解和回答復雜的問題。現在,他們正試圖將其整合到搜索中,希望能給用戶提供更豐富、更準確的體驗。
但對這些新工具的興奮之情可能掩蓋了一個骯臟的秘密——構建高性能人工智能搜索引擎的競賽可能需要計算能力的大幅提升,隨之而來的是科技公司所需的能源和碳排放量的大幅增加。
英國薩里大學網絡安全教授艾倫·伍德沃德(Alan Woodward)表示:“已經有大量資源用于索引和搜索互聯網內容,但人工智能的加入會將這件事所需的能源和資源提升到另一個層次。它需要高效的處理能力、存儲能力和搜索能力。每當我們看到在線處理的進一步變化時,就會看到大型處理中心所需的電力和冷卻資源在顯著增加。”
訓練大型語言模型(LLMs),比如OpenAI的ChatGPT(它將為微軟的必應搜索引擎提供支持),以及谷歌的同類產品Bard,意味著在大量數據中解析和計算聯系,這就是這些模型往往是由擁有大量資源的公司開發的原因。
“訓練這些模型需要大量的計算能力,”西班牙拉科魯尼亞大學的計算機科學家卡洛斯·戈麥斯·羅德里格斯(Carlos Gómez-Rodríguez)說,“現在,只有大型科技公司才能訓練這些模型。”
雖然OpenAI和谷歌都沒有說過他們各自產品的計算成本是多少,但研究人員的第三方分析估計,ChatGPT部分基于GPT-3的訓練消耗了1287兆瓦時,并導致了超過550噸的二氧化碳排放量,這相當于一個人在紐約和舊金山之間往返550次。
卡洛斯·戈麥斯·羅德里格斯表示:“這并沒有那么糟糕,但你必須考慮到這樣一個事實:你不僅要訓練它,還要執行它,為數百萬用戶服務。”
投資銀行瑞銀(UBS)估計,ChatGPT每天有1300萬用戶,將其作為一個獨立產品使用,與將其整合到每天處理5億次搜索的必應中,也有很大的區別。
加拿大數據中心公司QScale聯合創始人馬丁·布沙爾(Martin Bouchard)認為,根據他對微軟和谷歌搜索計劃的了解,在這一過程中添加生成式人工智能,需要“每次搜索至少增加4到5倍的計算量”。他指出,ChatGPT目前對2021年底之后的事情是不理解的,這在一定程度上減少了計算需求。
但為了滿足搜索引擎用戶日益增長的需求,這將不得不改變。他說:“如果他們要經常重新訓練模型,并添加更多參數之類的東西,計算量的規模就完全不同了。”
這將需要在硬件上進行大量投資。布沙爾說:“我們現有的數據中心和基礎設施將無法應對(生成式人工智能的競爭)。計算量太大了。”
根據國際能源署(International Energy Agency)的數據,數據中心的溫室氣體排放量已經占到全球溫室氣體排放量的1%左右。隨著云計算需求的增長,這一數字預計還會上升,但運營搜索引擎的公司已承諾將減少自身對全球變暖的凈貢獻。
卡洛斯·戈麥斯·羅德里格斯表示:“這絕對沒有運輸業或紡織業那么糟糕。但(人工智能)可能成為碳排放的一個重要來源。”
微軟已經承諾到2050年實現碳負排放。該公司計劃今年購買150萬噸碳信用額。谷歌承諾到2030年在其整個業務和價值鏈實現凈零排放。OpenAI和微軟沒有回應記者的置評請求。
為了減少“將人工智能集成到搜索中”的環境足跡和能源成本,可以將數據中心轉移到更清潔的能源上,以及重新設計神經網絡以提高效率,減少所謂的“推理時間”(即算法在新數據上工作所需的計算能力)。
謝菲爾德大學自然語言處理講師納菲思·沙達特·穆塞維(Nafise Sadat Moosavi)說:“我們必須研究如何減少這種大型模型所需的推理時間,”她致力于自然語言處理的可持續性研究,“現在是關注效率方面的一個好時機。”
谷歌發言人簡·帕克(Jane Park)告訴《連線》雜志,谷歌最初發布的Bard版本是由一個輕量級大型語言模型提供支持的。
帕克說:“我們還發表了一項研究,詳細介紹了最先進的語言模型的能源成本,包括早期和更大版本的LAMDA。我們的研究結果表明,將高效的模型、處理器和數據中心與清潔能源相結合,可以將[機器學習]系統的碳足跡減少1000倍。”
問題是,至少在谷歌的情況下,為了獲得在搜索準確性上的微小進步,而付出所有額外的計算能力和麻煩是否值得。但是穆塞維說,雖然關注LLMs產生的能源和碳足跡很重要,但我們也需要注意到大型語言模型的積極方面。
她說:“這對終端用戶來說是件好事。因為之前的大型語言模型并不是每個人都能使用得到的。”
本文系未央網專欄作者:小未 發表,內容屬作者個人觀點,不代表網站觀點,未經許可嚴禁轉載,違者必究!
三星:將把生成式人工智能引入手機、平板和手表
Pitchbook:生成式人工智能技術推動醫療信息技術發展
日歐數字部長會議確認合作制定生成式AI規則
日本總務省與經產省將合并AI指導方針,或首次提及生成式AI
Databricks斥資13億美元收購生成式人工智能創企MosaicML
世界經濟論壇發布2023年十大新興技術,生成式人工智能入選
日本起草生成式AI使用指南,禁止學生用ChatGPT寫作文
IBM(IBM.US)和Adobe(ADBE.US)強強聯合 共同打造生成式AI內容供應鏈解決方案
亞馬遜正在使用生成式人工智能來總結產品評論
Salesforce推出AI Cloud服務,生成式AI風投基金規模翻倍
Adobe(ADBE.US)將推出帶有版權保證的生成式AI訂閱服務
菲斯克(FSR.US)進軍排放信用市場以提振業務
歐盟要求科技巨頭標記AI生成內容,實際執行或存在技術障礙
新加坡金管局與谷歌就生成式人工智能展開合作
蘋果公司加大對生成式人工智能專家招聘力度
生成式人工智能浪潮讓軟銀措手不及
亞馬遜計劃利用人工智能為廣告商生成照片和視頻
云服務巨頭Salesforce將與埃森哲合作創建生成式AI加速中心
歐盟尋求年內就生成式AI監管規則達成一致
日立旗下風投3億美元投資Web3及生成式AI





