論文の概要: A Strong MoE Is All You Need for Process Supervision
- arxiv url: http://arxiv.org/abs/2610.29498v1
- Date: Wed, 21 Oct 2026 09:51:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 09:50:43.241754
- Title: A Strong MoE Is All You Need for Process Supervision
- Title（参考訳）: 最強のMoEは「プロセススーパービジョン」に必要なもの
- Abstract要約: 単純なルーティング統計が本質的なプロセス信頼信号を提供することを示す。
本稿では,最も信頼性の低い推論ステップを特定し,その後の軌道を選択的に再生するRoCo-Rethinkを紹介する。
さらに,RoCo-PRMを導入し,強力なMoEを用いて,経路由来のステップスコアで推論軌道を自動的にアノテートし,スタンドアロンのPRMに蒸留する。
- 参考スコア（独自算出の注目度）: 22.49628032268326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Process reward models (PRMs) provide fine-grained supervision for multi-step reasoning, yet obtaining reliable process labels remains a central bottleneck. Existing approaches typically rely on human annotation, rollout-based estimation, or auxiliary verification. In this work, we explore a different source of process supervision natively exposed by Mixture-of-Experts (MoE) models: expert routing. We show that simple routing statistics provide an intrinsic process-confidence signal that is competitive with conventional output-logit confidence. Building on this observation, we construct routing confidence by combining overall routing mass, head routing mass, and within-step routing variation, and introduce RoCo-Rethink, which identifies the least confident reasoning step and selectively regenerates the subsequent trajectory. We further introduce RoCo-PRM, which uses a strong MoE to automatically annotate reasoning trajectories with routing-derived step scores and distills them into a standalone PRM. Across multiple MoE architectures and diverse reasoning tasks, both RoCo-Rethink and RoCo-PRM consistently outperform strong baselines, while RoCo-PRM transfers effectively across both model architectures and tasks. Our findings suggest that expert routing is more than a computational dispatch mechanism: it provides an architecture-native source of process supervision for reasoning.
- Abstract（参考訳）: プロセス報酬モデル(PRM)は、多段階推論のためのきめ細かい監督を提供するが、信頼性の高いプロセスラベルを取得することは、依然として中心的なボトルネックである。
既存のアプローチは通常、人間のアノテーション、ロールアウトベースの見積もり、または補助的な検証に依存する。
本研究では、Mixture-of-Experts(MoE)モデルによってネイティブに公開されている異なるプロセス管理源を探索する。
単純なルーティング統計は、従来の出力-ログの信頼性と競合する本質的なプロセス-信頼信号を提供することを示す。
この観測に基づいて、全体のルーティング質量、ヘッドルーティング質量、およびステップ内ルーティング変動を組み合わせたルーティング信頼度を構築するとともに、信頼性の低い推論ステップを特定し、その後の軌道を選択的に再生するRoCo-Rethinkを導入する。
さらに,RoCo-PRMを導入し,強力なMoEを用いて,経路由来のステップスコアで推論軌道を自動的にアノテートし,スタンドアロンのPRMに蒸留する。
複数のMoEアーキテクチャと多様な推論タスクに対して、RoCo-RethinkとRoCo-PRMは一貫して強力なベースラインを上回り、RoCo-PRMはモデルアーキテクチャとタスクの両方で効果的に転送する。
この結果から,専門家のルーティングは単なる計算的ディスパッチ機構以上のものであることが示唆された。
関連論文リスト
- Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning [87.18590662029432]
本稿では,プロアクティブルーティングパラダイムであるPRPを提案する。このパラダイムは,ドラフトモデルとターゲットモデルの両方の能力を評価することで,早期意思決定を可能にする。
筆者らの試案であるレーティング学習 (DRL) は内部信頼度推定器を内蔵し, 共同レーティング学習 (JRL) は対象モデルが与えられたクエリをどの程度処理できるかを予測する。
これらの評価により、詳細なインスタンスレベルの textbfProactive Routing が可能になり、全体的なパフォーマンスを損なうことなく、推論を大幅に高速化できる。
論文 参考訳（メタデータ） (2026-06-29T12:30:24Z) - From Sampled Outcomes to Capability Distributions: Rethinking Supervision for LLM Routing [79.19755531338872]
既存のルーティングメソッドは、クエリに対するモデルの単一応答を、トレーニングの能力ラベルとして扱う。
この仮定はルーティング管理にシステマティックノイズを導入し、学習されたルーティングポリシーの信頼性を低下させることを示す。
本稿では, DARS(Distribution-Aware Routing Supervision)を提案する。
論文 参考訳（メタデータ） (2026-06-05T05:42:00Z) - Rubric-Guided Process Reward for Stepwise Model Routing [18.58577344135632]
ステップワイズモデルルーティングは、各推論ステップを適切なモデルに割り当てることで、Large Reasoning Models(LRM)の効率を改善する。
最近の方法では、順序決定プロセスとしてルーティングを定式化し、強化学習でルータを訓練する。
ステップワイズモデルルーティングのためのルーリック誘導プロセス報酬フレームワークであるRoRoを提案する。
論文 参考訳（メタデータ） (2026-05-28T03:42:24Z) - Runtime Burden Allocation for Structured LLM Routing in Agentic Expert Systems: A Full-Factorial Cross-Backend Methodology [16.053669481561354]
エージェントAIシステムにおいて、大規模言語モデル(LLM)がコアコントロールコンポーネントになるにつれて、信頼性の高い構造化ルーティングは、正確性、レイテンシ、実装コストのバランスをとる必要がある。
このバランスはプロンプトやスキーマだけでなく、生成スタック全体で構造的な作業がどのように割り当てられるかによっても形作られています。
この定式化は、48のデプロイメント構成と15,552のリクエストをOpenAI、Gemini、Llamaバックエンドでカバーする包括的なフルファクターベンチマークを通じて評価する。
論文 参考訳（メタデータ） (2026-03-26T18:50:46Z) - ORCH: many analyses, one merge-a deterministic multi-agent orchestrator for discrete-choice reasoning with EMA-guided routing [0.6445605125467574]
ORCHは異種言語モデルを編成する離散選択推論のためのフレームワークである。
タスクの分解と回答の集約に固定されたルールを使用し、パイプラインを予測可能、再現可能、トレーニング不要にする。
MMLU、MMLU-Pro、GSM8Kの実験では、ORCHは単一モデルベースラインと多数投票アンサンブルを一貫して上回っている。
論文 参考訳（メタデータ） (2026-02-02T08:27:58Z) - Discovering Process-Outcome Credit in Multi-Step LLM Reasoning [3.584086358722852]
強化学習(RL)は、大規模言語モデル(LLM)における推論能力を高めるための強力なパラダイムとして機能する。
本稿では,連続的な報酬信号を提供するための新しいフレームワークを提案する。
本モデルでは, 予測できない, 難解な推論タスクに対して, ゼロショット転送能力を実証し, より優れた配当性を示す。
論文 参考訳（メタデータ） (2026-02-01T05:44:09Z) - AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。
プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。
AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
論文 参考訳（メタデータ） (2025-11-11T14:57:54Z) - RouteMark: A Fingerprint for Intellectual Property Attribution in Routing-based Model Merging [69.2230254959204]
我々は,統合されたMoEモデルにおけるIP保護のためのフレームワークであるRouteMarkを提案する。
我々の重要な洞察は、タスク固有の専門家は、探索入力の下で安定かつ独特なルーティング行動を示すことである。
属性と改ざん検出のために,類似性に基づくマッチングアルゴリズムを導入する。
論文 参考訳（メタデータ） (2025-08-03T14:51:58Z) - Learning to Route Queries Across Knowledge Bases for Step-wise Retrieval-Augmented Reasoning [60.84901522792042]
Multimodal Retrieval-Augmented Generation (MRAG)は、マルチモーダル大言語モデル(MLLM)における幻覚の緩和を約束している。
進化する推論状態に基づいて知識をいつどこで取得するかを学習する新しいMRAGフレームワークであるR1を提案する。
R1-は多種多様なKBを適応的かつ効果的に利用でき、不要な検索を減らし、効率と精度を向上させる。
論文 参考訳（メタデータ） (2025-05-28T08:17:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。