FuguReport
Daily Report / 2026-09-23

注目論文デイリーレポート

2026-09-23 1 論文

Hunyuan-A13B Technical Report

著者 Tencent Hunyuan Team, Ao Liu, Botong Zhou, Can Xu, Chayse Zhou, ChenChen Zhang, Chengcheng Xu, Chenhao Wang, Decheng Wu, Dengpeng Wu, Dian Jiao, Dong Du, Dong Wang, Feng Zhang, Fengzong Lian, Guanghui Xu, Guanwei Zhang, Hai Wang, Haipeng Luo, Han Hu, Huilin Xu, Jiajia Wu, Jianchen Zhu, Jianfeng Yan, Jiaqi Zhu, Jihong Zhang, Jinbao Xue, Jun Xia, Junqiang Zheng, Kai Liu, Kai Zhang, Kai Zheng, Kejiao Li, Keyao Wang, Lan Jiang, Lixin Liu, Lulu Wu, Mengyuan Huang, Peijie Yu, Peiqi Wang, Qian Wang, Qianbiao Xiang, Qibin Liu, Qingfeng Sun, Richard Guo, Ruobing Xie, Saiyong Yang, Shaohua Chen, Shihui Hu, Shuai Li, Shuaipeng Li, Shuang Chen, Suncong Zheng, Tao Yang, Tian Zhang, Tinghao Yu, Weidong Han, Weijie Liu, Weijin Zhou, Weikang Wang, Wesleye Chen, Xiao Feng, Xiaoqin Ren, Xingwu Sun, Xiong Kuang, Xuemeng Huang, Xun Cao, Yanfeng Chen, Yang Du, Zhen Yang, Yangyu Tao, Yaping Deng, Yi Shen, Yigeng Hong, Yiqi Chen
所属 Tencent
カテゴリ Method / Mixture-of-Experts / MoE architecture for large language model, Application / Foundation Model / Open-source large-scale LLM, Evaluation / Model Efficiency / Parameter count vs inference cost
ライセンス CC BY 4.0

Abstractの概要

Hunyuan-A13Bは、総パラメータ数800億に対し、トークンごとに130億パラメータのみを活性化するテンセントのオープンソースMixture-of-Experts（MoE）言語モデルです。厳選された2,500億トークンのSTEMデータを含む、フィルタリング済みの20兆トークン規模のコーパスで事前学習され、その後256Kトークンへとコンテキスト長が拡張されました。ポストトレーニングパイプラインには、複雑な推論に特化したフェーズと広範な実世界シナリオを網羅するフェーズという、教師あり微調整および強化学習の2つの明確な段階が統合されています。さらに、応答速度と推論の深さのバランスを取るため、選択可能な高速思考モードと深思（低速思考）モードを提供するデュアルモードの思考連鎖（Chain-of-Thought）フレームワークも導入されています。

新規性

本技術報告では、推論時に短い推論と深い推論を明示的に切り替え可能なデュアルモード思考連鎖（Chain-of-Thought）メカニズムを備えた、疎結合な80B/13Bのきめ細かなMoEアーキテクチャを紹介しています。また、検証可能な推論の最適化と、多様なシナリオに対応する一般的なアライメントおよびエージェント学習を分離した段階的なポストトレーニング手法についても詳述しています。

成果

ベースモデルの評価において、Hunyuan-A13Bはより少ないアクティブパラメータ数でありながら、報告されたほぼすべての指標でQwen2.5-72Bを上回り、12のベンチマーク中7つでQwen3-A22Bを凌駕しました。ポストトレーニング後の深思モードの評価では、AIME2024（87.3）、BBH（89.1）、ZebraLogic（84.7）に加え、BFCL v3（78.3）、ComplexFuncBench（61.2）、C3-Bench（63.5）などのエージェントベンチマークで比較対象モデル中トップのスコアを達成しています。長文コンテキストQAでは、RULERの64K〜128Kセグメントで73.9を記録してDeepSeek-R1およびQwen3-A22Bを上回り、バッチサイズ32で最大1981.99トークン/秒の推論スループットを実現しました。

論文の注目点

  1. Hunyuan-A13Bは、1つの共有エキスパートと64の専門エキスパート（うち8つを活性化）からなるきめ細かなMoEアーキテクチャを採用し、総パラメータ80B中13Bのアクティブパラメータを利用しています。
  2. 学習レシピには、STEMデータで強化された20兆トークンの事前学習、最大256Kトークンのコンテキスト拡張、ユーザー制御可能な高速/低速思考連鎖（Chain-of-Thought）モードを備えた2段階のポストトレーニングが含まれています。
  3. このモデルは、強固な長文コンテキスト安定性と高い推論スループットを維持しながら、より大規模なモデルに対しても競争力のある推論性能およびエージェント性能を発揮します。

参考リンク

このページはGPT-5、Claude Opus 4、Gemini 3、Gemini 3.1 Flash Image 及びその上位バージョンなどの生成AIを用いて作成されています。内容の保証は一切できません。