論文の概要: Structuring MoE Expert Selection for Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.07332v1
• Date: Mon, 05 Oct 2026 20:06:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.630204
• Title: Structuring MoE Expert Selection for Agentic Reinforcement Learning
• Title（参考訳）: エージェント強化学習のためのMoEエキスパート選択の構造化
• Abstract要約: エージェント・ポストトレーニングとMoE専門家の選択の関連について検討した。 専門家のルーティングは、エージェントが意味的に類似した操作を行うターンの間にさらに重なる。 エージェントタスクのための階層的ルーティング制御フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 31.67168949262172
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Long-horizon LLM agents are frequently implemented using sparse mixture-of-experts (MoE) models, yet the co-design of agentic behavior and MoE structures remains underexplored. In this work, we comprehensively study the connections between agentic post-training and MoE expert selection. In off-the-shelf MoE models, we observe expert selection exhibits a specialized structure that naturally aligns with agentic trajectories. Specifically, expert routing overlaps more between turns where the agent performs semantically similar operations (e.g., READ, UPDATE) than between turns with differing operations. However, standard RL algorithms ignore this specialization, allowing the MoE routing to go uncontrolled during training, which empirically limit task performance and inference efficiency. To address this, we introduce a hierarchical routing control framework for agentic tasks. We explicitly encourage turn-level expert selections to align with agentic operations while regularizing token-level expert selections to maintain local consistency. To resolve stability issues that arise during post-training with the proposed methods, we further introduce an entropy-gated control mechanism. Overall, our routing control framework achieves over 10-point improvements in success rate on all evaluated benchmarks. These results demonstrate that agentic trajectory structure provides an effective signal for optimizing MoE capacity during RL post-training.
• Abstract（参考訳）: 長期LLMエージェントはスパースミキシング・オブ・エキスパート(MoE)モデルを用いて頻繁に実装されるが、エージェントの挙動とMoE構造の共設計は未解明のままである。 本研究では,エージェント・ポストトレーニングとMoE専門家の選択との関係を包括的に研究する。 市販のMoEモデルでは、専門家選択がエージェント軌道と自然に整合する特殊な構造を示すのを観察する。 具体的には、専門家のルーティングは、異なる操作のターン間よりも、エージェントが意味的に類似した操作(例えば、READ、UDDATE)を行うターン間でオーバーラップする。 しかし、標準的なRLアルゴリズムはこの特殊化を無視し、トレーニング中にMoEルーティングを制御不能にすることで、タスク性能と推論効率を実証的に制限する。 これを解決するために,エージェントタスクのための階層的ルーティング制御フレームワークを提案する。 トークンレベルのエキスパート選択を局所的な一貫性を維持するために規則化しながら、エージェント操作と整合するように、ターンレベルのエキスパート選択を明示的に推奨します。 提案手法を用いた後学習時に生じる安定性の問題を解決するために,エントロピーゲート制御機構を導入する。 全体として、我々のルーティング制御フレームワークは、評価されたすべてのベンチマークで10ポイント以上の成功率の向上を実現している。 これらの結果から, エージェント軌道構造は, RL後訓練におけるMoE容量の最適化に有効な信号であることが示された。

関連論文リスト

• CERA-MoA: Co-Evolving Routing Mechanisms with Continually Learning LLM Agents [15.175328654638058]
  現在のMixture-of-Agents(MoA)パラダイムは、クエリルーティングとエージェントの微調整を別々のプロセスとして扱う。 本稿では,動的ルータと独立エージェントポリシーを併用した反復強化学習フレームワークCERA-MoAを紹介する。 CERA-MoAは最先端の静的エージェントルーティングや修正ワークフローの微調整ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-09-16T15:01:23Z)
• Runtime Burden Allocation for Structured LLM Routing in Agentic Expert Systems: A Full-Factorial Cross-Backend Methodology [16.053669481561354]
  エージェントAIシステムにおいて、大規模言語モデル(LLM)がコアコントロールコンポーネントになるにつれて、信頼性の高い構造化ルーティングは、正確性、レイテンシ、実装コストのバランスをとる必要がある。 このバランスはプロンプトやスキーマだけでなく、生成スタック全体で構造的な作業がどのように割り当てられるかによっても形作られています。 この定式化は、48のデプロイメント構成と15,552のリクエストをOpenAI、Gemini、Llamaバックエンドでカバーする包括的なフルファクターベンチマークを通じて評価する。
  論文  参考訳（メタデータ） (2026-03-26T18:50:46Z)
• Phase-Aware Mixture of Experts for Agentic Reinforcement Learning [23.18318273534301]
  ポリシーネットワークにはMixture-of-Experts (MoE)アーキテクチャが採用される可能性がある。 MoEは異なるパラメータ(専門家)に異なるタスクを専門化させ、単純なタスクが全てのパラメータを支配できないようにする。 textbfPhase-Aware Mixture of Experts (PA-MoE)を提案する。 まず、RLの目的から遅延位相境界を直接学習し、位相カテゴリを事前に定義せずに、軽量のEmphphaseルータを特徴とする。 そして、フェーズルータは同じ専門家に時間的に一貫した割り当てを割り当て、専門家はフェーズ固有の専門知識を維持することができる。
  論文  参考訳（メタデータ） (2026-02-19T03:18:30Z)
• SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning [83.66308307152808]
  マルチモーダル・インストラクション・チューニング(MCIT)のためのStAbilized Mixture-of-Experts(SAME)を提案する。 プロプライエタリは、サブスペースへのルーティングダイナミクスを分解し、タスク関連方向のみを更新することで、専門家の選択を安定化する。 また、トレーニング中に選択した専門家を凍結するためにアダプティブな専門家アクティベーションを導入し、冗長でクロスタスクな干渉を減らす。
  論文  参考訳（メタデータ） (2026-02-02T11:47:06Z)
• MoE Pathfinder: Trajectory-driven Expert Pruning [19.790092938955336]
  本稿では, 各層にまたがるアクティベート専門家の軌道に基づくプルーニング手法を提案する。 提案手法は,既存のほとんどの手法と比較して,ほぼすべてのタスクにおいて優れたプルーニング性能を実現する。
  論文  参考訳（メタデータ） (2025-12-20T17:05:08Z)
• Predicting Multi-Agent Specialization via Task Parallelizability [8.465921582175426]
  タスクレギュラーやチームサイズに応じて、特殊化がパフォーマンスを改善することを予測したクローズドフォーム境界を示す。 反対のベンチマークを表す2つの標準MARLベンチマークでモデルを検証した。 Overcooked-AIにおける3つのフォローアップ実験は、このモデルがより複雑な空間的および資源的ボトルネックを持つ環境で動作することを示した。
  論文  参考訳（メタデータ） (2025-03-19T21:33:48Z)
• Glider: Global and Local Instruction-Driven Expert Router [83.785832410832]
  モデルMoErging」手法は、保持タスクのパフォーマンスを犠牲にして、未確認タスクへの一般化を優先する。 マルチスケールルーティング機構を統合したGLIDER(Global and Local Instruction Driven Expert Router)を提案する。 GLIDERは、ホールドアウトタスクの強い一般化を維持しながら、ホールドイン性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:14Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)
• Trial and Error: Exploration-Based Trajectory Optimization for LLM Agents [49.85633804913796]
  本稿では,ETOと呼ばれる探索に基づく軌道最適化手法を提案する。 この学習方法はオープンLLMエージェントの性能を向上させるために設計されている。 3つの複雑なタスクに関する実験は、ETOがベースライン性能をはるかに上回っていることを示す。
  論文  参考訳（メタデータ） (2024-03-04T21:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。