對話澎湃新聞 | 訓(xùn)練ChatGPT有多燒錢,？國產(chǎn)大模型有機會嗎？

來源：法國里昂商學(xué)院時間：2023-03-04

在ChatGPT大熱的環(huán)境下,，同時引發(fā)社會各界的熱烈討論與深度思考,。法國里昂商學(xué)院多位教授受多家媒體采訪，發(fā)表深刻見解,。近期,，法國里昂商學(xué)院人工智能管理學(xué)院 (AIM) 院長、全球商業(yè)智能中心 (BIC) 主任龔業(yè)明接受澎湃科技采訪,，就這一個問題給出專業(yè)分析,。

GPT1.0和GPT2.0是開源的，目前很多國產(chǎn)大語言模型是用開源軟件,，加上中文語料處理的,，差距和GPT3.5可能并不只相差了一代。而現(xiàn)在GPT3.0沒有可靠的開源軟件,。

“誠然很多國內(nèi)廠商對ChatGPT有興趣,，但是他們的興趣點也很多，跟風(fēng)投機性強,，無法像OpenAI那樣全力以赴,，意志堅定?！?

ChatGPT風(fēng)靡全球后,，科技巨頭們紛紛入局，各類初創(chuàng)公司也如雨后春筍,。最近,，原美團聯(lián)合創(chuàng)始人王慧文的一條“5000萬美元,，帶資入組，不在意崗位,、薪資和title,，求組隊”的宣言更是引起諸多討論。

然而,，訓(xùn)練通用大模型非?！盁X”,。據(jù)國盛證券報告《ChatGPT需要多少算力》估算,，GPT-3訓(xùn)練一次的成本約為140萬美元，對于一些更大的LLM (大型語言模型),，訓(xùn)練成本介于200萬美元至1200萬美元之間,。以ChatGPT在1月的獨立訪客平均數(shù)1300萬計算，其對應(yīng)芯片需求為3萬多片英偉達A100 GPU,，初始投入成本約為8億美元,，每日電費在5萬美元左右。

更直觀地理解,，如果將當(dāng)前的ChatGPT部署到谷歌進行的每次搜索中,，需要512820.51臺A100 HGX服務(wù)器和總共4102568個A100 GPU，這些服務(wù)器和網(wǎng)絡(luò)的總成本僅資本支出就超過1000億美元,。

“大模型的訓(xùn)練和推理成本一直以來是AI產(chǎn)業(yè)發(fā)展的瓶頸,，因此具有大模型構(gòu)建能力的企業(yè)往往是世界科技巨頭。這會形成強大的護城河,，造成強者恒強的局面,。”法國里昂商學(xué)院人工智能管理學(xué)院 (AIM) 院長,、全球商業(yè)智能中心 (BIC) 主任龔業(yè)明接受澎湃科技 (www.thepaper.cn) 采訪時表示,。

“的確成本很高，所以短期內(nèi)大廠具有優(yōu)勢,?；蛘哔Y本市場高度看好這一領(lǐng)域，重金投資出一些創(chuàng)業(yè)公司來做大模型,?！盜DC中國研究總監(jiān)盧言霞對澎湃科技表示，“將來要么是大廠作為最上游提供基礎(chǔ)模型,，中小型企業(yè)作為下游開發(fā)出基于大模型的應(yīng)用,。要么是也會誕生出一批做大模型的AI創(chuàng)企，即使如此,，產(chǎn)業(yè)也將是大模型提供商為上游,。還有可能大模型發(fā)展到一定階段,，開源的越來越多，頭部行業(yè)用戶基于開源模型開發(fā)自己的AI應(yīng)用,，提供給行業(yè)里其他友商,，也就是類似行業(yè)云的形式?！?

國產(chǎn)大模型與ChatGPT基礎(chǔ)模型相差不止一代

“ChatGPT本質(zhì)上是一個由浮點數(shù)參數(shù)表示的深度神經(jīng)網(wǎng)絡(luò)大模型,，屬于深度學(xué)習(xí)的框架。ChatGPT的推出是深度學(xué)習(xí)提出后又一個里程碑式的技術(shù)革命,，將為以自然語言處理為核心的認知智能技術(shù)發(fā)展提供新的‘歷史機遇期’,。”科大訊飛副總裁,、研究院執(zhí)行院長劉聰對澎湃科技解釋道,。

近期，除了驚艷于ChatGPT的表現(xiàn)之外,，AI行業(yè)內(nèi)對于中國能否做出類ChatGPT的產(chǎn)品也有諸多討論,。國內(nèi)大模型究竟與ChatGPT背后的GPT系列大模型相差多少？

“GPT1.0和GPT2.0是開源的,，目前很多國產(chǎn)大語言模型是用開源軟件,，加上中文語料處理的，差距和GPT3.5可能并不只相差了一代,?！饼彉I(yè)明表示。

而現(xiàn)在GPT3.0沒有可靠的開源軟件了,，龔業(yè)明說,，“但是有理論論文發(fā)表，一些國產(chǎn)大語言模型正在根據(jù)GPT3.0論文和一些相關(guān)的情報開發(fā)系統(tǒng),，但是和OpenAI的原創(chuàng)模型會有較大差距,。”

據(jù)龔業(yè)明分析,，問題在于GPT3.0比很多目前國產(chǎn)大模型采用的GPT2.0要進化很多,，而OpenAI正在一個從GPT3.5到GPT4.0的發(fā)展過程中。如果要徹底達到GPT3.5的水平,，在短期內(nèi)是不太可能的,，語料庫的建立，人工標注,，算法的訓(xùn)練都需要時間,。

很多國產(chǎn)大模型計劃用半年完成追趕，龔業(yè)明判斷,，“半年后市場會出現(xiàn)一批這樣的所謂的GPT,，但要達到真正實用需要2-3年,，那時候OpenAI又進步了?！?

差距的背后是什么,？

從技術(shù)角度來看，龔業(yè)明認為,，國內(nèi)的AI領(lǐng)域在基礎(chǔ)理論,、算法研究、語料庫以及技術(shù)人才方面相對滯后,。

? 第一,，就語料庫而言，龔業(yè)明具體解釋道,，“一個裝樣子的語料庫的構(gòu)建和獲取也許不是特別費勁,，但是語料的標注與理解工作比較繁復(fù)。目前有很多人工智能專家還認為中文語料質(zhì)量會影響國產(chǎn)大模型的發(fā)展,。語言學(xué)的長期研究告訴我們，語料庫的構(gòu)建最好不能只局限于簡體中文語料庫,，要能理解多種語言,，才能構(gòu)建一流的中文語料庫。所以不要認為靠人海戰(zhàn)術(shù)和低人力成本建一個簡中語料庫就能解決語言學(xué)問題,?！?

? 第二是算法。“GPT對算法的要求特別高,。算法要能容納和分析大數(shù)據(jù),，個別國產(chǎn)大語言模型出現(xiàn)了過載問題，就是算法處理不了更大的數(shù)據(jù),，或增加了數(shù)據(jù)后服務(wù)質(zhì)量沒提高,。”龔業(yè)明說,。

? 第三是運算量,。“GPT需要高端顯卡和高端芯片。在目前的國際環(huán)境中,，并不是所有我國企業(yè)能獲取足量的高端顯卡和高端芯片,。同時運算量也要求較高的投資?！饼彉I(yè)明也聊到當(dāng)下的現(xiàn)狀,，“誠然很多國內(nèi)廠商對ChatGPT有興趣，但是他們的興趣點也很多,，跟風(fēng)投機性強,，無法像openAI那樣全力以赴,，意志堅定?！?

? 最后,，“短期內(nèi)很不容易找到GPT的領(lǐng)軍人才，在這個領(lǐng)域領(lǐng)軍人才幾乎全在美國,?！饼彉I(yè)明不無遺憾地總結(jié)道，“由于這些關(guān)鍵因素,，我不認為能夠比較容易地在短期內(nèi)實現(xiàn)追趕,。”

另一方面,，“國內(nèi)缺乏明確的前瞻性生態(tài)與商業(yè)布局,。”龔業(yè)明從商業(yè)模式角度分析,，“現(xiàn)在出現(xiàn)了ChatGPT這樣的產(chǎn)品,，國內(nèi)也會出現(xiàn)很多的公司、機構(gòu),，但在技術(shù)路徑的復(fù)制上面,，由于缺乏基礎(chǔ)模型積累和大量的訓(xùn)練數(shù)據(jù)來源，所以復(fù)制難度較大,。OpenAI在很多年前就理解了GPT的價值,，我們到現(xiàn)在別人已經(jīng)做出來，才知道該這樣發(fā)展,，才理解其中的商業(yè)價值,，就慢了點?！?

ChatGPT商業(yè)價值幾何,？“兵家必爭之地”

劉聰認為，這次ChatGPT所帶來的革命將會深刻地改變當(dāng)今世界的生產(chǎn)和生活方式,，重構(gòu)產(chǎn)業(yè)格局,，是人工智能領(lǐng)域推動工業(yè)乃至社會變革的重大戰(zhàn)略機遇，是未來發(fā)展兵家必爭之地,。

具體而言,，劉聰概括了四個方面的變革。

  • 一是改變現(xiàn)有人機交互模式,，未來人們可能用自然對話的方式與智能產(chǎn)品交互,。
  • 二是改變信息分發(fā)獲取模式，基于認知智能技術(shù)可實現(xiàn)更高效的信息整合和知識推薦等,。
  • 三是革新內(nèi)容生產(chǎn)模式,，提高生產(chǎn)力,。“未來ChatGPT被集成到word,、excel,、ppt等工具軟件后，將提升內(nèi)容生產(chǎn)效率與豐富度,，變革人們的辦公方式,，成為新的全行業(yè)生產(chǎn)力工具?！?
  • ”四是加速“AI for Science”的發(fā)展,，“隨著其學(xué)習(xí)的科研數(shù)據(jù)越來越多，未來ChatGPT有可能提供專業(yè)的研究建議甚至主動探索發(fā)現(xiàn)新的理論,，帶來整個科學(xué)研究范式的全新變化,。”

盧言霞則認為,，ChatGPT短期內(nèi)不可能顛覆AI行業(yè)格局,，其對市場真正的影響在于底層大模型對AI開發(fā)模式的轉(zhuǎn)變。

這句話包含了兩層判斷,。

為何ChatGPT短期內(nèi)不可能顛覆AI行業(yè)格局,？盧言霞認為，基于GPT-3模型已讀取的數(shù)據(jù),，ChatGPT可以回答用戶的問題，甚至可以為用戶推薦適配的產(chǎn)品,、服務(wù),。其所提供的答案在準確性、廣泛性方面仍存在局限,，因此現(xiàn)階段無法直接用于企業(yè)特定的場景中以替代之前的AI應(yīng)用,，不可能徹底顛覆搜索市場，也不可能改變?nèi)斯ぶ悄苁袌龈窬??！?

龔業(yè)明則持截然相反的觀念，“由于內(nèi)容可信度還不是特別高,，交互成本高,，很多市場分析人員認為ChatGPT對市場真正的影響有限，這種看法可能對這個技術(shù)的商業(yè)價值理解不是特別深刻,。目前也只是處在ChatGPT發(fā)展的早期,，內(nèi)容可信度會隨著訓(xùn)練與算法的提高，逐步解決,?！?

對于另一個AI開發(fā)模式轉(zhuǎn)變的判斷,，盧言霞進一步解釋道，“以前很多AI應(yīng)用都是直接使用通用AI軟件,，或者通用AI公有云服務(wù),。ChatGPT基于大模型的效果被認知到并且重視以后，將會有越來越多的AI應(yīng)用或是嵌入大模型,，或是直接用基于大模型的AI軟件替代,。也就是說，這會是已經(jīng)部署的AI應(yīng)用更新?lián)Q代的機會,?！?

“之前AI市場很分散，未來如果大模型發(fā)展起來,，那么產(chǎn)業(yè)鏈可能的分工是：大廠提供大模型,，AI應(yīng)用廠商基于大廠的大模型開發(fā)AI應(yīng)用。這將是上下游的關(guān)系,，不再是之前的競合關(guān)系,。”盧言霞說,。

歐科云鏈研究院高級研究員蔣照生則對澎湃科技談到一個新的角度,，ChatGPT將加速Web 3.0時代的到來。

“以ChatGPT為代表的生成式AI完全有潛力成為Web 3.0時代的生產(chǎn)力工具,，通過從包括鏈上數(shù)據(jù)在內(nèi)的新型生產(chǎn)要素中學(xué)習(xí)和分析,，為Web 3.0創(chuàng)作者和貢獻者們提供更可靠和更便捷的生產(chǎn)力工具，解決數(shù)字世界的數(shù)據(jù)資產(chǎn)與內(nèi)容生產(chǎn)難題,，補齊Web 3.0發(fā)展中的生產(chǎn)力短板,。”蔣照生表示,。

龔業(yè)明也表達了相似的想法,。他認為從長期來看，AIGC (人工智能生成內(nèi)容) 將成為元宇宙生產(chǎn)工具,?！癈hatGPT等AIGC應(yīng)用程序?qū)@著提升數(shù)字人的制造效率，內(nèi)容生成快,、成本低且可定制,。AIGC能顯著提高數(shù)字人多模態(tài)交互中的識別感知和分析決策能力，成為元宇宙世界重要的生產(chǎn)工具,。AIGC有望成為元宇宙搭建的重要工具,，并推動web 3.0的發(fā)展。”

在采訪的最后,，盧言霞說,，未來充滿想象，不可預(yù)測,。

*本文出自澎湃科技 原文鏈接：https://m.thepaper.cn/newsDetail_forward_21953944