久久国产精品久久久久久,国产精品自在自线,日韩在线一区二区三区,91欧美秘密入口

社科網(wǎng)首頁(yè)|客戶(hù)端|官方微博|報刊投稿|郵箱 中國社會(huì )科學(xué)網(wǎng)
中國社會(huì )科學(xué)院工業(yè)經(jīng)濟研究所

數字技術(shù)與大語(yǔ)言模型時(shí)代

2023年09月06日來(lái)源:《中國社會(huì )科學(xué)報》2023年9月5日(07版)    作者:陳曉東

在人類(lèi)發(fā)展史上,由于技術(shù)進(jìn)步帶來(lái)的全新產(chǎn)品與服務(wù),不僅滿(mǎn)足了既有的需求還創(chuàng )造了新的需求。隨著(zhù)數字技術(shù)的廣泛應用,以智能化為特征的第四次工業(yè)革命已經(jīng)悄然出現。ChatGPT由于具備了較為流暢的邏輯性對話(huà)和交互能力,體現出具有高水平結構復雜性和大量參數的大模型可以實(shí)現深度學(xué)習,一經(jīng)問(wèn)世就備受市場(chǎng)關(guān)注。從本質(zhì)上講,這種大模型是大語(yǔ)言模型(LLM),具有大規模參數和復雜網(wǎng)絡(luò )結構,引發(fā)了人工智能生成內容(AIGC)技術(shù)的質(zhì)變。與傳統語(yǔ)言模型不同,大語(yǔ)言模型通過(guò)在大規模語(yǔ)料庫上進(jìn)行訓練來(lái)學(xué)習語(yǔ)言的統計規律,能夠自動(dòng)學(xué)習語(yǔ)法、句法、語(yǔ)義等多層次的語(yǔ)言規律。人工智能的大語(yǔ)言模型參數一般有1億多個(gè),且這一標準還在不斷提高,而比大語(yǔ)言模型更大、更復雜的人工神經(jīng)網(wǎng)絡(luò )模型,通常擁有數萬(wàn)億到數十萬(wàn)億個(gè)參數的超大模型。超大模型通常被用于解決自然語(yǔ)言處理(NLP)中的問(wèn)答和機器翻譯、計算機視覺(jué)中的目標檢測和圖像生成等更為復雜的任務(wù)。從人工智能的生成角度來(lái)看,其模型可以根據文本提示生成代碼,還可以解釋甚至在某些情況下調試代碼。這一過(guò)程不僅可以實(shí)現文本、圖像、音頻、視頻的生成并構建多模態(tài),還可以在更為廣泛的領(lǐng)域生成新的設計、知識和思想,乃至實(shí)現廣義的藝術(shù)和科學(xué)再創(chuàng )造。

大語(yǔ)言模型的訓練需要大量的計算資源和數據。OpenAI就用了數萬(wàn)臺CPU、GPU(圖像處理單元)和多種技術(shù)對其模型進(jìn)行優(yōu)化調整。2018—2023年,OpenAI的大語(yǔ)言模型實(shí)現了五次迭代;OpenAI還提供了API接口,使得開(kāi)發(fā)者可以利用大語(yǔ)言模型進(jìn)行NLP的應用開(kāi)發(fā)。這是在數學(xué)、統計學(xué)、計算機科學(xué)、物理學(xué)、工程學(xué)、神經(jīng)學(xué)、語(yǔ)言學(xué)、哲學(xué)、人工智能等諸多學(xué)科融合基礎上的一次突變。正如谷歌、斯坦福和DeepMind聯(lián)合發(fā)表的《大語(yǔ)言模型的涌現能力》中所提及的:“許多新的能力在中小模型上線(xiàn)性放大規模都得不到線(xiàn)性的增長(cháng),模型規模必須呈指數級增長(cháng)并超過(guò)某個(gè)臨界點(diǎn),新技能才會(huì )突飛猛進(jìn)。”因此,大語(yǔ)言模型的訓練和調整需要極其巨大的算力、算法、數據、技術(shù)以及超大規模的投入與協(xié)作,而前三者作為人工智能的三要素,在產(chǎn)業(yè)數字化的智能升級進(jìn)程中發(fā)揮著(zhù)巨大作用。其中,數據是生產(chǎn)資料,算法代表新生產(chǎn)關(guān)系,算力作為新生產(chǎn)力支撐著(zhù)算法和數據,而算力水平又直接決定數據處理能力的強弱。在復雜的算力場(chǎng)景中,如何組合不同的算力類(lèi)型,是降低成本并最終得到市場(chǎng)認可的關(guān)鍵。

當前,算力已成為全球主要國家的戰略布局核心,更成為全球戰略競爭新焦點(diǎn),對于我國在推進(jìn)新型工業(yè)化過(guò)程中搶占新一輪科技革命和產(chǎn)業(yè)變革制高點(diǎn)同樣具有深刻意義。大語(yǔ)言模型對算力的要求更多地聚焦在智能算力上,預計到2026年中國智能算力規模將達1271.4 EFLOPS(即每秒浮點(diǎn)運算次數),年復合增長(cháng)率達52.3%。隨著(zhù)“東數西算”工程與新型基礎設施等政策出臺,我國算力整體布局從東部地區開(kāi)始逐漸向中西部地區延伸,因此要鼓勵有條件的地區因地制宜探索試點(diǎn)算力新領(lǐng)域。在加大算力作為經(jīng)濟發(fā)展重要底層支撐的同時(shí),還要著(zhù)力培育并加快建立我國人工智能發(fā)展的完整生態(tài)。OpenAI專(zhuān)注于大語(yǔ)言模型研發(fā),算力由微軟公司完成,數據由專(zhuān)門(mén)公司負責清洗……OpenAI正是在整個(gè)人工智能生態(tài)中完成了大語(yǔ)言模型開(kāi)發(fā),這樣的多方協(xié)作生態(tài)不斷促使各參與主體的自主創(chuàng )新與協(xié)同發(fā)展。發(fā)展我國大語(yǔ)言模型,必須建立一個(gè)統一的大語(yǔ)言模型平臺和基座,對接國產(chǎn)算力公司并做好接口,讓所有企業(yè)都可以參與使用,這樣才能促進(jìn)人工智能尤其是大語(yǔ)言模型的生態(tài)鏈建設,在同經(jīng)濟社會(huì )發(fā)展深度融合中推動(dòng)我國新一代人工智能健康發(fā)展。

 

分享到: