<td id="vzm40"><strong id="vzm40"></strong></td>
<video id="vzm40"></video>

    1. <nobr id="vzm40"><form id="vzm40"></form></nobr>
      <label id="vzm40"></label>

        <strong id="vzm40"><nav id="vzm40"></nav></strong>
        <nobr id="vzm40"><li id="vzm40"></li></nobr>
        <td id="vzm40"><b id="vzm40"></b></td>

        生成式AI模型轉向?微軟開始嘗試“以小博大”
        來源:界面新聞作者:李京亞2023-12-15 09:59

        圖:匡達

        當人們開始質疑能耗和資金投入過大的大模型競逐是否道路正確時,微軟用27億參數的小模型指明了一些新方向。

        近日,微軟研究院在X上公布了其開源小尺寸模型Phi-2的一些技術細節,憑借在各類復雜基準測試之上展現的出色能力,這款小模型迅速在業界引發反響。

        Phi-2的輸入和輸出都只能采取文本形式,經過基準測試評估,僅用27億參數就在主要性能上超越Llama2(Meta最新開源的語言大模型)家族中一些小模型如LIama2 7B、Llama2 13B等,并與谷歌新釋出的端側模型Google Gemini Nano 2不相上下。

        圖源:微軟研究院

        評測結果還顯示,Phi-2與經典的Llama-2-70B模型(開源社區最為核心和衍生模型最多的大語言模型LLM)相比,整體差距也不太大,在多步推理任務如編碼和數學方面,性能還比后者更好,而Llama-2-70B的體量是Phi-2的25倍。

        據微軟所述,Phi-2的設計目標是通過模仿較大模型的推理過程來克服較小模型的局限,具體做法上以預測下一個單詞為目標,在1.4萬億個詞庫上進行訓練,訓練過程中使用了96塊A100 GPU,耗時14天完成。

        據微軟研發團隊解釋,Phi-2效果之所以好,是因為使用了比較優質的合成數據以及大語言模型LLM提示工程技巧。

        據悉,這款模型在毒性和偏見方面的表現超越了其他開源模型,可以在筆記本和手機上運行。有毒性主要是大模型產生的攻擊性、有害內容,偏見則會導致大語言模型在性能和社會文化上產生危害。目前,微軟已經在Azure AI Studio模型目錄中提供了Phi-2。

        值得注意的是,除使用研究界慣常的測試方法之外,Phi-2還展示了在真實使用場景中的能力。

        微軟大膽地將自家小模型與谷歌的最強多模態大模型Gemini Ultra進行對比,結果Phi-2在解決物理問題和糾正學生錯誤方面表現不遜于Gemini Ultra,展示出超越常規測試之外的綜合能力。

        對于一個用于測試模型解決物理問題的能力的prompt(最近用于評估 Gemini Ultra 模型),Phi-2給出了如上結果圖源:微軟研究院

        Gemini Ultra的參數規模據推測大于3400億,而Phi-2只有27億。這充分說明,微軟的小語言模型不僅能在核心的推理和理解能力上與大其5倍、10倍的模型相當,還能展現出前沿超大語言模型的些許特性。

        一般而言,小語言模型是指參數量低于130億的模型,大語言模型是指千億參數規數的模型。在極少公司才能拿到必要資源訓練大模型的當下,微軟試圖用微型模型研究為這一領域樹立新的范式。

        特別是在近期,微軟逐步顯露出對小語言模型的偏好。

        事實上,Phi-2是微軟 “小語言模型(SLM)” 系列中的最新版本,其首個版本是13億參數的Phi-1。就在11月,CEO納德拉領導的微軟研究部門還發布了另一對小型語言模型Orca 2,也能做到在完成復雜推理任務時,可以與5到10倍大的語言模型(包括Meta的Llama-2 Chat-70B)相媲美。

        在推廣小模型方面,微軟還計劃開發一種名為“Tiny”的新模型系列,這些模型優化之后,能夠在資源有限的設備上運行。此外,微軟也會通過Azure OpenAI服務提供更多小模型,供開發者使用。

        隨著Phi-2的發布,微軟將繼續推動在小型基礎語言模型方面的研究和發展。但需要指出的是,Phi-2目前有一大局限:只被許可用于“研究目的”,而不能商用。

        責任編輯: 陳勇洲
        聲明:證券時報力求信息真實、準確,文章提及內容僅供參考,不構成實質性投資建議,據此操作風險自擔
        下載“證券時報”官方APP,或關注官方微信公眾號,即可隨時了解股市動態,洞察政策信息,把握財富機會。
        網友評論
        登錄后可以發言
        發送
        網友評論僅供其表達個人看法,并不表明證券時報立場
        暫無評論
        為你推薦
        時報熱榜
        換一換
          熱點視頻
          換一換
          台湾SWAG官方网站进入方法,欧美97人人模人人爽人人喊小说,60分钟吃胸视频免费观看,国产雏女破苞在线播放
          <td id="vzm40"><strong id="vzm40"></strong></td>
          <video id="vzm40"></video>

            1. <nobr id="vzm40"><form id="vzm40"></form></nobr>
              <label id="vzm40"></label>

                <strong id="vzm40"><nav id="vzm40"></nav></strong>
                <nobr id="vzm40"><li id="vzm40"></li></nobr>
                <td id="vzm40"><b id="vzm40"></b></td>