科技漫談 | AIGC技術(shù)大爆發(fā)，越來越智慧的人工智能，靠的是什么？
2023-08-26
最近AI圈子不可不謂熱鬧，被稱為大模型“奠基研究”的 《Attention is All You Need》論文的八位作者已全部從Google離職，投身AI創(chuàng)業(yè)，并且都收獲了資本市場認(rèn)可，獲得巨額投資。當(dāng)下最火熱的OpenAI的GPT模型、谷歌的Bard模型也都不約而同地借鑒了《Attention is All You Need》論文中的Transformer架構(gòu)進(jìn)行設(shè)計，這就讓人不禁好奇：這個改變了AI發(fā)展進(jìn)程，使AI真正變得“智能”的Transformer究竟是何方神圣呢？
（圖 Attention Is All You Need）
解密Transformer：探索大語言模型核心
從過去拘泥于規(guī)則的程序，到如今能夠自我學(xué)習(xí)、自我進(jìn)化的智能體，現(xiàn)如今的AI是如何做到飛速進(jìn)步？早期的循環(huán)神經(jīng)網(wǎng)（Recurrent Neural Network，RNN）到長短時記憶（Long Short Term Memory，LSTM），從卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）到Transformer模型，這些拗口難念的英文單詞，背后卻是人工智能領(lǐng)域的一波又一波革命。
（圖 搭載LLM大模型的元享智能云平臺）
但在ChatGPT橫空出世前，自然語言處理領(lǐng)域的AI大語言模型應(yīng)用似乎都離我們還很遙遠(yuǎn)。以往的對話型AI，就像是個充滿預(yù)設(shè)臺詞的機器人，不管你說什么，它都是那一套機械式的“if x; then a; else if y; then b…… ”，只會選擇內(nèi)容，而不會創(chuàng)造內(nèi)容。但是，隨著Transformer模型的嶄露頭角，大語言模型似乎找到了新的方向。
那么Transformer是依靠什么機制或者說是原理，讓原本不能理解人類語言的AI，變的能夠理解并生成相應(yīng)內(nèi)容的呢？其核心在于《Attention is All You Need》論文中提到的自注意力機制，這種機制讓模型能夠在處理文本時更好地捕捉上下文信息，建立詞與詞之間的聯(lián)系，仿佛模擬了人類對話的連貫性。Transformer模型通過對輸入文本的自我關(guān)注，能夠在不同位置之間建立關(guān)聯(lián)，從而更好地理解整個文本的語義結(jié)構(gòu)，也讓充滿創(chuàng)造力的生成式AI（AIGC）成為可能。
（圖 搭載AIGC虛擬數(shù)字人的元享數(shù)字魔盒）
釋放模型創(chuàng)造力的多頭自注意力機制
Transformer利用注意力機制來模擬人類對上下文的理解。這種機制允許模型在處理文本時，根據(jù)不同位置的詞匯建立自適應(yīng)的注意力。換句話說，模型能夠理解每個詞匯與其他詞匯之間的關(guān)系，并且不受“距離”的限制?？此茝?fù)雜的機制，其實原理很簡單，就是通過計算每個詞匯之間的相似度，來構(gòu)建注意力權(quán)重。并且多頭機制的引入增加了模型的并行性，從而更高效地捕捉詞匯之間的關(guān)聯(lián)。
不過只有關(guān)聯(lián)性是不夠的，為了克服Transformer模型無法捕捉詞匯順序信息的問題，OpenAI在GPT模型中還引入了“位置編碼”技術(shù)，你可以把“位置編碼”理解為一本“地圖”，它告訴每個詞匯在句子中的位置。這樣一來，大語言模型模型不僅能理解詞匯的語義，還能感知它們在句子中的脈絡(luò)。就如同我們在閱讀時，會根據(jù)文字的位置來推斷它們的重要性和關(guān)系。
（圖 Multi-Headed Attention)
（圖 Transformer模型)
種種精妙的機制相互結(jié)合，造就了如今基于Transformer的各種大語言模型，也讓運行大語言模型的AI不再只能夠機械式回答，而是成為一個能夠深刻理解文本、生成獨特回應(yīng)的智能體。通過自注意力、多頭機制和位置編碼的共同作用，模型在處理文本時，宛如一位詩人，能夠用恰到好處的言辭，構(gòu)建出精彩紛呈的句子，令人嘆為觀止。也讓人們看到這項技術(shù)運用在虛擬數(shù)字人身上會產(chǎn)生怎樣的技術(shù)革命。
（圖 GPT-3 到 ChatGPT的心路歷程）
大語言模型能夠為虛擬數(shù)字人賦予“靈魂”嗎？
大語言模型造就的生成式AI，讓人與機器進(jìn)行文字對話成為可能，但如何能夠突破恐怖谷，讓機器人與人的交流像人與人交流一樣自然流暢，則又是一個新的難題。
天娛數(shù)科子公司元境科技自研「MetaSurfing-元享智能云平臺」，搭載行業(yè)領(lǐng)先的虛擬數(shù)字人交互系統(tǒng)、大語言模型、多模態(tài)感知等技術(shù)，為虛擬數(shù)字人賦予了視覺、聽覺和語言能力，使虛擬數(shù)字人能夠像人類一樣交流、理解和思考。并通過「元享數(shù)字魔盒」以3D立體形式呈現(xiàn)出有靈魂、有記憶、多情感、多感知、超寫實的全擬真人類個體，讓虛擬數(shù)字人可以像真人一樣進(jìn)行“面對面”交互，擁有自己的“身體”、“言辭”和“思想”，如人類一般通過語言表達(dá)內(nèi)心的情感和思考。
（圖 大語言模型能夠為虛擬數(shù)字人賦予“靈魂”嗎？）
AI元年
正如《Attention is All You Need》論文的作者所展示的，科技的進(jìn)步不斷推動著人工智能領(lǐng)域的前沿探索。當(dāng)下我們正在身處AI時代的浪潮之中，目睹著大語言模型與虛擬數(shù)字人這兩個領(lǐng)域的碰撞與融合，未來我們或許能夠在虛擬世界中與虛擬數(shù)字人進(jìn)行深刻的哲學(xué)對話，探討2023年的這場AI革命，對后世引發(fā)的深遠(yuǎn)影響。