《經濟通通訊社６日專訊》騰訊（００７００）宣布推出業界參數規模最大、效果最好的開源ＭｏＥ大語言模型Ｈｕｎｙｕａｎ－Ｌａｒｇｅ。　　此外，騰訊還宣布將推出自研的長文評測集「企鵝卷軸」（ＰｅｎｇｕｉｎＳｃｒｏｌｌｓ），以填補行業在真實長文評測集上的空白。企鵝卷軸基於公開的金融、法律、學術論文等長文本構建，文本長度從１Ｋ到１２８Ｋ不等，覆蓋深度閱讀理解和長文推理任務。　＊Ｈｕｎｙｕａｎ－Ｌａｒｇｅ超越一流開源模型＊　　　Ｈｕａｎｙｕａｎ－ｌａｒｇｅ模型的總參數量為３８９Ｂ、激活參數為５２Ｂ、訓練ｔｏｋｅｎ數量為７Ｔ、最大上下文長度為２５６Ｋ、詞表大小為１２﹒８ｗ。　　在技術創新方面，Ｈｕｎｙｕａｎ－ｌａｒｇｅ通過高質量的合成數據來增強模型訓練，彌補了自然數據的不足。　　其中，該模型預訓練支持處理高達２５６Ｋ的文本序列，大幅提升了長文本上下文的處理能力，能夠更高效地完成長文本任務。　　據了解，Ｈｕｎｙｕａｎ－ｌａｒｇｅ在ＣＭＭＬＵ、ＭＭＬＵ、ＣＥｖａ１、ＭＡＴＨ等多學科綜合評測集上表現優異，在中英文自然語言處理、代碼生成、數學運算等９大能力維度中全面領先，超越了Ｌｌａｍａ３﹒１和Ｍｉｘｔｒａｌ等一流開源模型。（ｃｔ）

【etnet 30周年】多重慶祝活動一浪接一浪，好禮連環賞！ ► 即睇詳情