發表時間:2024-11-12 11:32:04
文章作者:小編
瀏覽次數:
新模型Orion性能提升幅度顯著縮小。這意味著,隨著高質量新數據減少,AI模型改進速度或將放緩。OpenAI成立了一個團隊,研究能讓AI模型保持改進的新方法。
高質量數據不夠用,拖累AI模型改進速度——OpenAI這位AI領頭羊又遇到了難題。
據The Information今日消息,一些測試過Orion的OpenAI員工發現,雖然Orion的性能超過了OpenAI現有的所有模型,但其性能質量提升程度遠遠小于從GPT-3到GPT-4的飛躍。這意味著,隨著高質量數據趨于有限,AI模型的改進速度可能會放緩。
不僅如此,Orion的訓練中涉及來自舊模型(例如GPT-4與一些推理模型)的AI生成數據,這可能導致其重現舊模型的一些行為。
為此,OpenAI成立了一個“基礎”團隊,以在高質量新數據供應減少的情況下,研究能讓AI模型保持改進的新方法。據悉,公司計劃基于AI合成數據訓練Orion,并在后期訓練中對模型作出更多改進。
目前,OpenAI正在推進Orion的安全測試,計劃于明年年初發布這一模型,其可能會打破“GPT-X”的命名慣例,以反映模型開發的變化。
值得注意的是,OpenAI在今年收購了Chat.com域名,該域名已重定向至OpenAI的AI驅動聊天機器人ChatGPT。
“撞上數據墻”
早在2020年,OpenAI就曾在一篇論文中提出Scaling law定律,意指大模型的最終性能主要與計算量、模型參數量和訓練數據量三者的大小相關,而與模型的具體結構(層數/深度/寬度)基本無關。換言之,僅僅增加模型規模和訓練數據,就能顯著提升人工智能能力,而無需取得根本性的算法突破。
AI界許多公司都一度將Scaling Law奉為圭臬,但如今,也有越來越多的質疑聲出現。
Meta AI人工智能研究院(FAIR)研究員及高級經理田淵棟指出,“我畫過一張圖,一開始數據量越大,模型性能表現越好,但模型離人類越近就越難獲得新的數據,模型就越來越難以改進,最后總會有些corner case(邊角案例,即無法想到的或不常見的案例)解決不了,這是data driven(數據驅動)最大的問題。”
非營利研究機構Epoch AI在今年7月更新的一篇論文中指出,未來數年內,(原始)數據增長的速度將難以支撐AI大模型擴展發展的速度,在2026-2032年之間的某個時間點,數據存量將耗盡。
實際上,OpenAI已不是第一次遭遇“數據資源不足”的問題。此前已有媒體報道指出,在訓練GPT-5時,OpenAI因文本數據不足,正在考慮使用YouTube公開視頻轉錄出的文本。
如今OpenAI再度碰上數據資源難題,甚至因此影響到了新模型進展。“但這代表‘天塌了,’”The Information這篇文章的作者之一Amir Efrati指出,OpenAI正在作出調整,或許將有新的Scaling Law取代舊Scaling Law。
值得一提的,當地時間11月9日,OpenAI安全系統團隊負責人翁荔(Lilian Weng)宣布將離開已經工作了近7年的OpenAI。她公開分享了發給團隊的離職信,但其中并未言明具體離職原因及未來職業去向,僅表示“是時候重新出發,探索新的領域了”。
關注多享有數,持續為您分享行業熱點要聞!
四川多享信息技術有限公司是一家專注于數字化服務、系統開發、新媒體營銷、農村電商的專業互聯網公司,公司位于成都高新區天府二街,成立16年,擁有豐富開發經驗,至今已助力5000+中小企業實現數字化轉型升級。
研發了B2C商城系統、私域電商系統、分銷商城系統、S2B2b2C供應鏈電商系統、小程序商城系統等,支持中臺云倉、供應商、自營商城、直播、短視頻、分銷、零售商管理、運營商管理、營銷工具、數據分析、會員儲值、積分商城等功能,幫助企業實現數字化轉型,助力降本增效,獲取更多收益!
- 01-132025的生意增長,必須看到的機遇
- 01-09淘寶推出「送禮物」功能:領取時限24小時,春節「送禮大戰」愈演愈烈
- 01-07抖音電商投入數億元成立“小商家幫扶基金”
- 01-06如何構建數據產品:2025年數據行業開啟的新技能
- 01-02工信部:推動“5G+工業互聯網”創新發展
- 12-31豆包定價一元的野心:字節跳動打響AI突圍戰
- 12-27直播內容卷出新高度,行業還有紅利嗎?
- 12-26十年一輪回,微信“送禮物”能否復制紅包奇跡?
- 12-26《2025全球消費者趨勢》,消費者更深思熟慮了
- 12-252024 AI大模型年度十大關鍵詞發布
- 12-25政企辦公應用「鴻蒙化」勢頭正勁
- 12-242025年7個令人關注的數據治理趨勢
- 12-24從 OpenAI 12 天發布會里,我們看到了行業的四個關鍵問題
- 12-23互聯網入口不再屬于瀏覽器,未來是對話式AI的
- 12-23人工智能時代的數據戰略
- 12-20第三季度我國上市互聯網企業市值大漲 環比上升25.4%
- 12-20政策春風助力零售業,AI+SaaS引領數字化轉型與增長新機遇
- 12-19微信小店灰測“送禮物”功能
- 12-192024年十大科技進步,除了AI還有這九個
- 12-18私域運營深度解析:6大策略提升客戶生命周期價值
