對話澎湃新聞 | 訓(xùn)練ChatGPT有多燒錢,？國產(chǎn)大模型有機(jī)會(huì)嗎,？

來源：法國里昂商學(xué)院時(shí)間：2023-03-04

在ChatGPT大熱的環(huán)境下,，同時(shí)引發(fā)社會(huì)各界的熱烈討論與深度思考。法國里昂商學(xué)院多位教授受多家媒體采訪,，發(fā)表深刻見解,。近期，法國里昂商學(xué)院人工智能管理學(xué)院 (AIM) 院長,、全球商業(yè)智能中心 (BIC) 主任龔業(yè)明接受澎湃科技采訪,，就這一個(gè)問題給出專業(yè)分析。

GPT1.0和GPT2.0是開源的,，目前很多國產(chǎn)大語言模型是用開源軟件,，加上中文語料處理的，差距和GPT3.5可能并不只相差了一代,。而現(xiàn)在GPT3.0沒有可靠的開源軟件,。

“誠然很多國內(nèi)廠商對ChatGPT有興趣，但是他們的興趣點(diǎn)也很多,，跟風(fēng)投機(jī)性強(qiáng),，無法像OpenAI那樣全力以赴，意志堅(jiān)定,?！?

ChatGPT風(fēng)靡全球后，科技巨頭們紛紛入局,，各類初創(chuàng)公司也如雨后春筍,。最近，原美團(tuán)聯(lián)合創(chuàng)始人王慧文的一條“5000萬美元,，帶資入組,，不在意崗位、薪資和title,，求組隊(duì)”的宣言更是引起諸多討論,。

然而，訓(xùn)練通用大模型非?！盁X”,。據(jù)國盛證券報(bào)告《ChatGPT需要多少算力》估算，GPT-3訓(xùn)練一次的成本約為140萬美元,，對于一些更大的LLM (大型語言模型),，訓(xùn)練成本介于200萬美元至1200萬美元之間。以ChatGPT在1月的獨(dú)立訪客平均數(shù)1300萬計(jì)算,，其對應(yīng)芯片需求為3萬多片英偉達(dá)A100 GPU,，初始投入成本約為8億美元，每日電費(fèi)在5萬美元左右,。

更直觀地理解,，如果將當(dāng)前的ChatGPT部署到谷歌進(jìn)行的每次搜索中,，需要512820.51臺A100 HGX服務(wù)器和總共4102568個(gè)A100 GPU，這些服務(wù)器和網(wǎng)絡(luò)的總成本僅資本支出就超過1000億美元,。

“大模型的訓(xùn)練和推理成本一直以來是AI產(chǎn)業(yè)發(fā)展的瓶頸,，因此具有大模型構(gòu)建能力的企業(yè)往往是世界科技巨頭。這會(huì)形成強(qiáng)大的護(hù)城河,，造成強(qiáng)者恒強(qiáng)的局面,。”法國里昂商學(xué)院人工智能管理學(xué)院 (AIM) 院長,、全球商業(yè)智能中心 (BIC) 主任龔業(yè)明接受澎湃科技 (www.thepaper.cn) 采訪時(shí)表示,。

“的確成本很高，所以短期內(nèi)大廠具有優(yōu)勢,?；蛘哔Y本市場高度看好這一領(lǐng)域，重金投資出一些創(chuàng)業(yè)公司來做大模型,。”IDC中國研究總監(jiān)盧言霞對澎湃科技表示,，“將來要么是大廠作為最上游提供基礎(chǔ)模型,，中小型企業(yè)作為下游開發(fā)出基于大模型的應(yīng)用。要么是也會(huì)誕生出一批做大模型的AI創(chuàng)企,，即使如此,，產(chǎn)業(yè)也將是大模型提供商為上游。還有可能大模型發(fā)展到一定階段,，開源的越來越多,，頭部行業(yè)用戶基于開源模型開發(fā)自己的AI應(yīng)用，提供給行業(yè)里其他友商,，也就是類似行業(yè)云的形式,。”

國產(chǎn)大模型與ChatGPT基礎(chǔ)模型相差不止一代

“ChatGPT本質(zhì)上是一個(gè)由浮點(diǎn)數(shù)參數(shù)表示的深度神經(jīng)網(wǎng)絡(luò)大模型,，屬于深度學(xué)習(xí)的框架,。ChatGPT的推出是深度學(xué)習(xí)提出后又一個(gè)里程碑式的技術(shù)革命，將為以自然語言處理為核心的認(rèn)知智能技術(shù)發(fā)展提供新的‘歷史機(jī)遇期’,?！笨拼笥嶏w副總裁、研究院執(zhí)行院長劉聰對澎湃科技解釋道,。

近期,，除了驚艷于ChatGPT的表現(xiàn)之外，AI行業(yè)內(nèi)對于中國能否做出類ChatGPT的產(chǎn)品也有諸多討論,。國內(nèi)大模型究竟與ChatGPT背后的GPT系列大模型相差多少,？

“GPT1.0和GPT2.0是開源的,，目前很多國產(chǎn)大語言模型是用開源軟件，加上中文語料處理的,，差距和GPT3.5可能并不只相差了一代,。”龔業(yè)明表示,。

而現(xiàn)在GPT3.0沒有可靠的開源軟件了,，龔業(yè)明說，“但是有理論論文發(fā)表,，一些國產(chǎn)大語言模型正在根據(jù)GPT3.0論文和一些相關(guān)的情報(bào)開發(fā)系統(tǒng),，但是和OpenAI的原創(chuàng)模型會(huì)有較大差距?！?

據(jù)龔業(yè)明分析,，問題在于GPT3.0比很多目前國產(chǎn)大模型采用的GPT2.0要進(jìn)化很多，而OpenAI正在一個(gè)從GPT3.5到GPT4.0的發(fā)展過程中,。如果要徹底達(dá)到GPT3.5的水平,，在短期內(nèi)是不太可能的，語料庫的建立,，人工標(biāo)注,，算法的訓(xùn)練都需要時(shí)間。

很多國產(chǎn)大模型計(jì)劃用半年完成追趕,，龔業(yè)明判斷,，“半年后市場會(huì)出現(xiàn)一批這樣的所謂的GPT，但要達(dá)到真正實(shí)用需要2-3年,，那時(shí)候OpenAI又進(jìn)步了,。”

差距的背后是什么,？

從技術(shù)角度來看,，龔業(yè)明認(rèn)為，國內(nèi)的AI領(lǐng)域在基礎(chǔ)理論,、算法研究,、語料庫以及技術(shù)人才方面相對滯后。

? 第一,，就語料庫而言,，龔業(yè)明具體解釋道，“一個(gè)裝樣子的語料庫的構(gòu)建和獲取也許不是特別費(fèi)勁,，但是語料的標(biāo)注與理解工作比較繁復(fù),。目前有很多人工智能專家還認(rèn)為中文語料質(zhì)量會(huì)影響國產(chǎn)大模型的發(fā)展。語言學(xué)的長期研究告訴我們，語料庫的構(gòu)建最好不能只局限于簡體中文語料庫,，要能理解多種語言,，才能構(gòu)建一流的中文語料庫。所以不要認(rèn)為靠人海戰(zhàn)術(shù)和低人力成本建一個(gè)簡中語料庫就能解決語言學(xué)問題,?！?

? 第二是算法。“GPT對算法的要求特別高,。算法要能容納和分析大數(shù)據(jù),，個(gè)別國產(chǎn)大語言模型出現(xiàn)了過載問題，就是算法處理不了更大的數(shù)據(jù),，或增加了數(shù)據(jù)后服務(wù)質(zhì)量沒提高,。”龔業(yè)明說,。

? 第三是運(yùn)算量,。“GPT需要高端顯卡和高端芯片。在目前的國際環(huán)境中,，并不是所有我國企業(yè)能獲取足量的高端顯卡和高端芯片,。同時(shí)運(yùn)算量也要求較高的投資?！饼彉I(yè)明也聊到當(dāng)下的現(xiàn)狀,，“誠然很多國內(nèi)廠商對ChatGPT有興趣，但是他們的興趣點(diǎn)也很多,，跟風(fēng)投機(jī)性強(qiáng)，無法像openAI那樣全力以赴,，意志堅(jiān)定,。”

? 最后,，“短期內(nèi)很不容易找到GPT的領(lǐng)軍人才,，在這個(gè)領(lǐng)域領(lǐng)軍人才幾乎全在美國?！饼彉I(yè)明不無遺憾地總結(jié)道,，“由于這些關(guān)鍵因素，我不認(rèn)為能夠比較容易地在短期內(nèi)實(shí)現(xiàn)追趕,?！?

另一方面，“國內(nèi)缺乏明確的前瞻性生態(tài)與商業(yè)布局,?！饼彉I(yè)明從商業(yè)模式角度分析，“現(xiàn)在出現(xiàn)了ChatGPT這樣的產(chǎn)品,，國內(nèi)也會(huì)出現(xiàn)很多的公司,、機(jī)構(gòu),，但在技術(shù)路徑的復(fù)制上面，由于缺乏基礎(chǔ)模型積累和大量的訓(xùn)練數(shù)據(jù)來源,，所以復(fù)制難度較大,。OpenAI在很多年前就理解了GPT的價(jià)值，我們到現(xiàn)在別人已經(jīng)做出來,，才知道該這樣發(fā)展,，才理解其中的商業(yè)價(jià)值，就慢了點(diǎn),?！?

ChatGPT商業(yè)價(jià)值幾何？“兵家必爭之地”

劉聰認(rèn)為,，這次ChatGPT所帶來的革命將會(huì)深刻地改變當(dāng)今世界的生產(chǎn)和生活方式,，重構(gòu)產(chǎn)業(yè)格局，是人工智能領(lǐng)域推動(dòng)工業(yè)乃至社會(huì)變革的重大戰(zhàn)略機(jī)遇,，是未來發(fā)展兵家必爭之地,。

具體而言，劉聰概括了四個(gè)方面的變革,。

  • 一是改變現(xiàn)有人機(jī)交互模式,，未來人們可能用自然對話的方式與智能產(chǎn)品交互。
  • 二是改變信息分發(fā)獲取模式,，基于認(rèn)知智能技術(shù)可實(shí)現(xiàn)更高效的信息整合和知識推薦等,。
  • 三是革新內(nèi)容生產(chǎn)模式，提高生產(chǎn)力,?！拔磥鞢hatGPT被集成到word、excel,、ppt等工具軟件后,，將提升內(nèi)容生產(chǎn)效率與豐富度，變革人們的辦公方式,，成為新的全行業(yè)生產(chǎn)力工具,。”
  • ”四是加速“AI for Science”的發(fā)展,，“隨著其學(xué)習(xí)的科研數(shù)據(jù)越來越多,，未來ChatGPT有可能提供專業(yè)的研究建議甚至主動(dòng)探索發(fā)現(xiàn)新的理論，帶來整個(gè)科學(xué)研究范式的全新變化,?！?

盧言霞則認(rèn)為，ChatGPT短期內(nèi)不可能顛覆AI行業(yè)格局，其對市場真正的影響在于底層大模型對AI開發(fā)模式的轉(zhuǎn)變,。

這句話包含了兩層判斷,。

為何ChatGPT短期內(nèi)不可能顛覆AI行業(yè)格局？盧言霞認(rèn)為,，基于GPT-3模型已讀取的數(shù)據(jù),，ChatGPT可以回答用戶的問題，甚至可以為用戶推薦適配的產(chǎn)品,、服務(wù),。其所提供的答案在準(zhǔn)確性、廣泛性方面仍存在局限,，因此現(xiàn)階段無法直接用于企業(yè)特定的場景中以替代之前的AI應(yīng)用,，不可能徹底顛覆搜索市場，也不可能改變?nèi)斯ぶ悄苁袌龈窬??！?

龔業(yè)明則持截然相反的觀念，“由于內(nèi)容可信度還不是特別高,，交互成本高,，很多市場分析人員認(rèn)為ChatGPT對市場真正的影響有限，這種看法可能對這個(gè)技術(shù)的商業(yè)價(jià)值理解不是特別深刻,。目前也只是處在ChatGPT發(fā)展的早期,，內(nèi)容可信度會(huì)隨著訓(xùn)練與算法的提高，逐步解決,?！?

對于另一個(gè)AI開發(fā)模式轉(zhuǎn)變的判斷，盧言霞進(jìn)一步解釋道,，“以前很多AI應(yīng)用都是直接使用通用AI軟件,，或者通用AI公有云服務(wù)。ChatGPT基于大模型的效果被認(rèn)知到并且重視以后,，將會(huì)有越來越多的AI應(yīng)用或是嵌入大模型，或是直接用基于大模型的AI軟件替代,。也就是說,，這會(huì)是已經(jīng)部署的AI應(yīng)用更新?lián)Q代的機(jī)會(huì)?！?

“之前AI市場很分散,，未來如果大模型發(fā)展起來，那么產(chǎn)業(yè)鏈可能的分工是：大廠提供大模型,，AI應(yīng)用廠商基于大廠的大模型開發(fā)AI應(yīng)用,。這將是上下游的關(guān)系，不再是之前的競合關(guān)系?！北R言霞說,。

歐科云鏈研究院高級研究員蔣照生則對澎湃科技談到一個(gè)新的角度，ChatGPT將加速Web 3.0時(shí)代的到來,。

“以ChatGPT為代表的生成式AI完全有潛力成為Web 3.0時(shí)代的生產(chǎn)力工具,，通過從包括鏈上數(shù)據(jù)在內(nèi)的新型生產(chǎn)要素中學(xué)習(xí)和分析，為Web 3.0創(chuàng)作者和貢獻(xiàn)者們提供更可靠和更便捷的生產(chǎn)力工具,，解決數(shù)字世界的數(shù)據(jù)資產(chǎn)與內(nèi)容生產(chǎn)難題,，補(bǔ)齊Web 3.0發(fā)展中的生產(chǎn)力短板?！笔Y照生表示,。

龔業(yè)明也表達(dá)了相似的想法。他認(rèn)為從長期來看,，AIGC (人工智能生成內(nèi)容) 將成為元宇宙生產(chǎn)工具,。“ChatGPT等AIGC應(yīng)用程序?qū)@著提升數(shù)字人的制造效率,，內(nèi)容生成快,、成本低且可定制。AIGC能顯著提高數(shù)字人多模態(tài)交互中的識別感知和分析決策能力,，成為元宇宙世界重要的生產(chǎn)工具,。AIGC有望成為元宇宙搭建的重要工具，并推動(dòng)web 3.0的發(fā)展,?！?

在采訪的最后，盧言霞說,，未來充滿想象,，不可預(yù)測。

*本文出自澎湃科技 原文鏈接：https://m.thepaper.cn/newsDetail_forward_21953944