論文の概要: Hunyuan-A13B Technical Report
- arxiv url: http://arxiv.org/abs/2609.27284v1
- Date: Wed, 23 Sep 2026 03:21:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.854141
- Title: Hunyuan-A13B Technical Report
- Title(参考訳): Hunyuan-A13B技術報告
- Abstract要約: Hunyuan-A13Bは、Mixture-of-Expertsアーキテクチャに基づいたオープンソースの大規模言語モデルである。
総パラメータは800億だが、推測ではわずか13億である。
モデルは、STEMデータキュレーションを強化した厳格にフィルタされた20Tトーケンコーパスで事前訓練される。
- 参考スコア(独自算出の注目度): 91.18558536946954
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Hunyuan-A13B, an open-source large language model based on a Mixture-of-Experts architecture. It contains 80 billion total parameters but activates only 13 billion during inference, balancing model capability, computational efficiency, and deployment cost. The model is pretrained on a rigorously filtered 20T-token corpus with enhanced STEM data curation, improving factual reliability and reasoning ability. High-quality supervised fine-tuning and large-scale reinforcement learning further enhance its overall performance. Hunyuan-A13B also introduces a dual-mode Chain-of-Thought framework that adapts reasoning depth to task complexity: fast thinking for routine queries and slow thinking for complex, multi-step problems. Evaluations show competitive performance across mathematics, science, programming, general language understanding, and agent tasks, often approaching that of much larger models. Its high inference throughput makes it suitable for latency-sensitive applications. We release Hunyuan-A13B to support open research and practical LLM deployment.
- Abstract(参考訳): 本稿では,Mixture-of-Expertsアーキテクチャに基づくオープンソースの大規模言語モデルであるHunyuan-A13Bを紹介する。
合計で800億のパラメータが含まれているが、推論、モデルの能力のバランス、計算効率、デプロイメントコストの間、わずか13億しか起動しない。
モデルは、STEMデータキュレーションを強化し、事実信頼性と推論能力を向上した厳格にフィルタされた20Tトーケンコーパスで事前訓練される。
高品質な教師付き微調整と大規模強化学習により、全体的な性能が向上した。
Hunyuan-A13Bはまた、タスクの複雑さに推論の深さを適用するデュアルモードのChain-of-Thoughtフレームワークも導入している。
評価は、数学、科学、プログラミング、一般言語理解、エージェントタスクにまたがる競争性能を示し、より大きなモデルのモデルにしばしばアプローチする。
その高い推論スループットは、レイテンシに敏感なアプリケーションに適している。
Hunyuan-A13B をリリースし,オープンリサーチと実用 LLM の展開を支援する。
関連論文リスト
- ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search [54.43696074323815]
ZGCM-1は、極端なデータ、システム、アルゴリズムの効率でゼロから訓練された、完全にオープンな7Bファンデーションモデルである。
エージェントがクラスタ操作を自律的に管理する、AIネイティブなR&Dワークフローを確立します。
ZGCM-1-7Bは一般的なベンチマークで7Bモデルファミリ間で競合する。
論文 参考訳(メタデータ) (2026-09-11T17:18:04Z) - Scaling Trends for Multi-Hop Contextual Reasoning in Mid-Scale Language Models [0.0]
大規模言語モデルにおけるマルチホップ文脈推論の制御に関する研究について述べる。
マルチエージェントシステムは逆パターンを示し、ルールベースのメソッドが失敗する推論タスクを最大80%達成する。
論文 参考訳(メタデータ) (2026-01-06T20:18:55Z) - AgentMath: Empowering Mathematical Reasoning for Large Language Models via Tool-Augmented Agent [80.83250816918861]
o3やDeepSeek-R1のようなLarge Reasoning Models (LRM)は、長いチェーン・オブ・シークレットを持つ自然言語推論において顕著な進歩を遂げている。
しかし、計算的に非効率であり、複雑な数学的操作を必要とする問題を解く際には精度に苦しむ。
本稿では,言語モデルの推論能力とコードインタプリタの計算精度をシームレスに統合するエージェントフレームワークであるAgentMathを紹介する。
論文 参考訳(メタデータ) (2025-12-23T19:57:49Z) - MCP: A Control-Theoretic Orchestration Framework for Synergistic Efficiency and Interpretability in Multimodal Large Language Models [0.0]
本研究では,モデル・コントローラ・タスク適応(MCP)に基づく3層協調フレームワークを提案する。
実験の結果,MPPフレームワークはベースラインモデルと比較して,GLUE,COCO,ScienceQAなどのクロスモーダルベンチマークタスクの性能を15~30%向上し,推論効率を40%向上させ,プレゼンテーション層を通じて解釈可能な中間結果を生成し,手動の解釈可能性スコアの90%を得ることができた。
論文 参考訳(メタデータ) (2025-09-20T09:44:11Z) - Hunyuan-TurboS: Advancing Large Language Models through Mamba-Transformer Synergy and Adaptive Chain-of-Thought [196.74837065805488]
Hunyuan-TurboSは、Transformer-Mamba Mixture of Expertsの大型ハイブリッドモデルである。
高いパフォーマンスと効率のバランスを保ち、推論コストを低く抑えている。
論文 参考訳(メタデータ) (2025-05-21T12:11:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。