智能時代的一次進化

　　■在“高智商”的加持下，GPT-4o的反應速度跳上了新臺階。它最快能夠在232毫秒內響應語音輸入，平均響應時長約320毫秒，這大約與人類對話相當

　　■有媒體稱這預示著“智能時代的一次進化”，未來移動設備中的互聯網可能會被濃縮在一個程序之中，用戶可以通過它解決一切需求：發短信、導航、識物、打車等

　　本報記者?查睿

　　Sora之后，美國開放人工智能研究中心（OpenAI）昨天凌晨推出“王炸”新模型GPT-4o。“o”是Omni（全能模型）的縮寫。GPT-4o不僅能夠實時處理文本、音頻和圖像，還采用全新的語音交互模式，大幅提升人機對話的響應速度，幾乎與真人對話相差無幾，它還會看人臉色、講笑話……總之，AI更像人，甚至更像一個朋友了。

　　在GPT-4o的“人性”背后，大模型正進入多模態發展的新階段。模型不再追求長文本的單一的語言對話，視覺、語音乃至情感都成為模型參數中的關鍵。對如今的“百模大戰”而言，這一變化是危機還是商機？

　　聰明又快速

　　作為ChatGPT的基礎技術模型，GPT-4o的能力將直接影響ChatGPT的用戶體驗。“GPT-4o既聰明又快速，是自然的多模態。”OpenAI?CEO山姆·奧特曼評價。

　　GPT-4o有多聰明？

　　根據OpenAI的發布會和官網披露的信息所示，GPT-4o不僅可以識別手寫字體，還能解答數學方程式，甚至還能識別圖像中的人物微表情。

　　根據傳統基準測試，GPT-4o的性能對比GPT-4?Turbo（OpenAI去年11月發布的大模型）基本都處于優勢，對比其他模型更是大幅領先。具體來說，GPT-4o在英語文本和代碼上的性能與GPT-4?Turbo類似，但在非英語文本上的性能顯著提高，與現有模型相比，GPT-4o在視頻和音頻方面表現尤為出色。

　　在“高智商”的加持下，GPT-4o的反應速度跳上了新臺階。

　　它最快能夠在232毫秒內響應語音輸入，平均響應時長約320毫秒，這大約與人類對話相當。如果對320毫秒的突破沒有直觀印象，不妨看看上一代模型的成績：語音對話模式下，ChatGPT的平均響應時長為2.8秒（基于GPT-3.5）和5.4秒（基于GPT-4）。

　　GPT-4o之所以這么快，離不開全新的神經網絡處理流程。

　　“我們現在常見的‘Siri’‘小愛同學’等語音助理，以及GPT-3.5等上代大模型對語音對話的處理能力慢，至少需要三個步驟，反應時間和處理速度延遲感強。”國內某AI企業技術專家解釋稱，第一步，音頻轉文本將人的指令轉化為文本輸入；第二步，機器對文本理解并輸出文本；第三步，文本轉語音“說”給用戶，這才完成了語音對話的流程。“這樣的模式不僅慢，而且會遺漏許多語音中的信息熵值，也會影響對話的連貫性。”

　　在GPT-4o上，OpenAI跨文本、視覺和音頻端到端地訓練了一個新模型，這意味著所有輸入和輸出都由同一模型來處理，實現真正的多模態交互。

　　高智商疊加反應快，GPT-4o還模仿了人類的情感和幽默感，更具人情味。難怪山姆·奧特曼稱之為“人類級別的響應”。

　　基于GPT-4o的天賦，ChatGPT不僅能實時語音對話，還能聽懂用戶對話的不同語氣和情緒狀態，還能相應生成不同的情感表達，甚至可以要求GPT-4o唱歌，對話時幾乎感受不到僵硬的AI感。

　　經過OpenAI的現場展示，不少人認為，會提供情緒價值的“AI伴侶”已觸手可及。

　　國內模型存代際差異

　　“現在主打情感陪伴的AI創業公司可以退場了。”驚訝于GPT-4o強大的共情能力，不少細分AI賽道隱隱感受到了危機。

　　此前，ChatGPT主要追求性能和生產力，不少創業公司錯位競爭，打造了一批“類人”AI產品，也吸引了部分用戶。比如InflectionAI的AI機器人Pi誕生一年就收獲了百萬級別的日活用戶。國內大模型公司MiniMax推出一款名為Glow的虛擬聊天產品，僅四個月時間也吸引了數百萬用戶。

　　不同于Pi等純陪伴型的機器人，GPT-4o既能當幫手，還是能開玩笑的“多面手”，無形中提高了AI的創業門檻。

　　“GPT-4o使得市場對AI產品的期望值大幅提高，創業公司需要投入更多資源來開發和優化其AI模型。”上海市人工智能行業協會秘書長鐘俊浩表示，如OpenAI、谷歌、蘋果等大公司，能夠更快地推出高性能AI模型，導致市場資源向這些大公司集中，初創公司難以獲取足夠的市場份額和投資。

　　不僅是創業公司，國內AI巨頭的壓力也不小。

　　目前，國內AI在多模態模型訓練方面主要采用圖像和文字聯合訓練，語音則是通過單獨的模型進行處理并拆解完成上下游任務。與GPT-4o高度擬人化的多模態聯合訓練相比，仍存在代際差異。

　　“據我了解，目前，國內如上海人工智能實驗室、字節跳動、阿里和Minimax等企業也在進行類似的多模態聯合訓練研究，但很難說已經有能夠匹敵GPT-4o的產品。”不過，鐘俊浩同時表示出樂觀，憑借國內巨頭的研發能力，追趕GPT-4o并非遙不可及，在國內算力基礎設施日益完善的前提下，“平替”產品的研發周期會大幅縮短。

　　據記者了解，商湯近期推出了商量擬人大模型“SenseChat-Character”，支持個性化角色創建與定制、知識庫構建、長對話記憶、多人群聊等功能，可實現行業領先的角色對話、人設及劇情推動能力，可以廣泛應用于情感陪伴、影視動漫IP角色、明星網紅AI分身、語言角色扮演游戲等擬人對話場景。

　　多模態交互是大勢所趨

　　“大模型發展一年以來，能力快速上升的同時，發展趨勢也更加清晰。”阿里云首席技術官周靖人認為，從單一語言模型到多模態混同發展是大勢所趨。

　　多模態模型，通常指能同時處理和整合多種類型數據（如文本、圖像、聲音等）的大模型，GPT-4o的橫空出世便是多模態模型的集大成。

　　國內也在爭取抓住多模態的東風，也取得了斐然的成績。

　　據第三方統計，2023年，國內多模態AI概念股研發支出合計達到327.53億元，占營收比例為11.2%，這一比例是同期A股整體水平的4.46倍。云從科技-UW、格靈深瞳、阿爾特、虹軟科技等概念股研發支出占營收比超過50%，相當于拿出超一半的營收投入研發。

　　5月9日，阿里云發布的通義千問2.5，其多模態模型已初具影響力，如視覺理解模型Qwen-VL-Max在多個多模態標準測試中超越Gemini?Ultra和GPT-4V，目前已在多家企業落地應用。當前，通義已發展出文生圖、智能編碼、文檔解析、音視頻理解等能力。

　　14日，騰訊也宣布旗下混元文生圖大模型全面升級，升級后采用了與Sora一致的DiT架構，不僅可支持文生圖，也可作為視頻等多模態視覺生成的基礎。評測數據顯示，混元文生圖模型整體能力屬于國際領先水平。

　　作為OpenAI的春季升級產品，GPT-4o在多模態上的出色表現，更讓業界對即將到來的GPT-5產生濃厚興趣。

　　鐘俊浩預計，GPT-5在多模態的基礎上將進一步強化多模態交互中的表現，不僅能夠處理文本，還能通過攝像頭、麥克風等設備直接與現實環境互動。例如，通過攝像頭識別物體并執行相應的指令，這將大大提升AI在現實場景中的實用性和交互體驗。同時，GPT-5還可與第三方平臺無縫整合，例如智能家居設備及辦公系統等，以擴展其應用場景。

　　這也給AI創業公司帶來了新商機。“創業公司不妨利用OpenAI提供的API（編程接口）來增強其產品功能，在垂直領域找到與科技巨頭的互補點，或針對特定行業或用戶需求，開發定制化解決方案。”鐘俊浩建議。