論文の概要: Cross-Entropy Guided Routing in Mixture-of-Experts Large Language Models

• arxiv url: http://arxiv.org/abs/2609.37751v1
• Date: Tue, 29 Sep 2026 15:00:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.658772
• Title: Cross-Entropy Guided Routing in Mixture-of-Experts Large Language Models
• Title（参考訳）: 実験用混合言語モデルにおけるクロスエントロピーガイド付きルーティング
• Abstract要約: スパースルーティングのためのトークンエラー監視を2つの形式で導入する。 最初の形式は、専門家1人当たりのエラースコアを予測します。これらのスコアの親和性の重み付けされた集約は、次のトークンのクロスエントロピー損失に一致します。 第2の方法は、追加のヘッドや推論時間を変更することなく、ルータの親和性を直接モデルの目的に合わせることである。
• 参考スコア（独自算出の注目度）: 13.636161694834678
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse mixture-of-experts (MoE) large language models scale model capacity by routing each token to a small subset of experts. Their routers are regularized with load balancing terms and learn affinity scores through the language-model objective. However, these objectives do not provide direct alignment between routing affinities and token-level error. We introduce token-error supervision for sparse routing in two forms. The first form predicts an error score per expert. The affinity-weighted aggregate of these scores is aligned to the next-token cross-entropy loss, while the individual scores attenuate affinity before top-$K$ selection. The second directly aligns the router's affinities to the model's objective without requiring an additional head or inference-time modification. Both formulations use the Itakura--Saito divergence or an exponential negative log-likelihood for aligning affinities and token errors. Across two sparse MoE backbones and four multiple-choice question-answering benchmarks, we evaluate both supervision mechanisms. On Granite, our method improves accuracy by approximately 2.3 percentage points on average over a parameter-matched routing baseline. With stronger supervision, the gain on ARC-Challenge reaches 2.94 points. Both mechanisms preserve the native sparse execution budget and aggregation policy. Our code is available in the supplementary materials.
• Abstract（参考訳）: スパース・ミックス・オブ・エキスパート(MoE) 大規模な言語モデルは、各トークンを少数の専門家にルーティングすることで、モデルのキャパシティをスケールする。 ルータはロードバランシング用語で正規化され、言語モデルの目的を通じて親和性スコアを学習する。 しかし、これらの目的は、ルーティング親和性とトークンレベルのエラーの直接的なアライメントを提供しない。 スパースルーティングのためのトークンエラー監視を2つの形式で導入する。 最初のフォームは、専門家1人当たりのエラースコアを予測します。 これらのスコアのアフィニティ重み付き集計は、次のトーケンクロスエントロピー損失と一致し、個々のスコアはトップ$K$選択の前にアフィニティを減衰させる。 第2の方法は、追加のヘッドや推論時間を変更することなく、ルータの親和性を直接モデルの目的に合わせることである。 どちらの定式化も、親和性とトークンエラーの整合に板倉-斎藤発散(英語版)または指数負の対数類似(英語版)を用いる。 スパースな2つのMoEバックボーンと4つの複数選択質問応答ベンチマークにおいて、両監視機構の評価を行った。 Graniteでは,パラメータマッチングされたルーティングベースライン上で平均2.3ポイントの精度を向上する。 ARC-Challengeの得点は2.94ポイントに達した。 どちらのメカニズムも、ネイティブスパース実行予算とアグリゲーションポリシーを保存する。 私たちのコードは補足資料で利用可能です。

関連論文リスト

• PluginEval: A Diagnostic Benchmark for Fine-Grained Error Attribution in Function Calling [11.1017602726296]
  大規模言語モデルは、ますます自律的なエージェントとして機能している。 現在のベンチマークには3つの制限がある。 Evalは、2段階のフレームワークで構築されたベンチマークである。
  論文  参考訳（メタデータ） (2026-08-09T13:25:54Z)
• UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective [17.48959208263029]
  本稿では,事前学習したGPT2チェックポイントを均一な雑音拡散に適応させるための,簡易な事前学習手法を提案する。 我々の研究は、サンプリング予算の増加に伴い、生成的複雑度(GenPPL)とユニグラムエントロピーのトレードオフを着実に改善する。 両スケールで比較した拡散モデルの中で,WinoGrande,SIQA,BBHの精度が最も高い。
  論文  参考訳（メタデータ） (2026-07-27T14:40:26Z)
• Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement [66.67463557274358]
  バイアス付きデータセットに基づいてトレーニングされた基礎モデルは、しばしばターゲットラベルと非因果属性の間の急激な相関に依存する。 信頼誘導概念マイニング(CBCM:Confidence-guided Concept Mining)を導入し,属性アノテーションを使わずに信頼性の高いスプリアス属性を同定する。 本稿では,目標と突発的な表現を2つのブランチに分離するプロンプトチューニングフレームワークであるDual-branch Cross-projection Debiasing (DCD)を提案する。
  論文  参考訳（メタデータ） (2026-06-23T05:28:47Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Dual-Stage Reweighted MoE for Long-Tailed Egocentric Mistake Detection [85.0189917888094]
  本稿では,微妙で頻繁なミスによって生じる課題に対処するため,Dual-Stage Reweighted Mixture-of-Experts (DR-MoE) フレームワークを提案する。 提案手法は,特に稀かつ曖昧な誤りの特定において,高い性能を達成する。
  論文  参考訳（メタデータ） (2025-09-16T12:00:42Z)
• Abduct, Act, Predict: Scaffolding Causal Inference for Automated Failure Attribution in Multi-Agent Systems [20.846301581161978]
  マルチエージェントシステムにおける障害帰属は、批判的だが未解決の課題である。 現在の手法では、これを長い会話ログ上のパターン認識タスクとして扱う。 A2P Scaffoldingは、パターン認識から構造化因果推論タスクへの障害帰属を変換する。
  論文  参考訳（メタデータ） (2025-09-12T16:51:15Z)
• On the Reproducibility of Neural Network Predictions [52.47827424679645]
  そこで本研究では, チャーン問題について検討し, 原因因子を同定し, 緩和する2つの簡単な方法を提案する。 最初に、標準的な画像分類タスクであっても、チャーンが問題であることを示す。 我々は,予測信頼度を高めるために,エントロピー正規化器を提案する。 両手法の有効性を実証的に示し, 基礎モデルの精度を向上しながら, チャーン低減効果を示す。
  論文  参考訳（メタデータ） (2021-02-05T18:51:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。