論文の概要: CounterRoute: Self-Routed Reasoning via Hierarchical Counterfactual Credit Assignment
- arxiv url: http://arxiv.org/abs/2609.29109v2
- Date: Sat, 26 Sep 2026 04:52:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 07:18:05.973912
- Title: CounterRoute: Self-Routed Reasoning via Hierarchical Counterfactual Credit Assignment
- Title（参考訳）: CounterRoute: 階層的なカウンターファクトクレジットアサインメントによる自己代行型推論
- Abstract要約: オンライン強化学習フレームワークであるCounterRouteを導入し、ひとつの共有ポリシでルーティングとモード条件の応答を共同で学習する。
CounterRoute は GRP よりも精度と効率のバランスを良くし、適応ラウティング法を学習し、Qwen3 のどちらのスケールでもマクロ平均精度を向上させる。
数学と合成命令追跡データのみを訓練するが、そのルーティングと応答の質は、コーディング、科学、知識、常識の保持されたタスクに一般化する。
- 参考スコア（独自算出の注目度）: 11.183409570425944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reasoning-capable language models often produce long chains of thought when direct answers suffice, wasting inference compute. Dual-mode models offer both thinking and direct-answer modes, but typically leave mode selection to users. Automating this selection while improving responses under both modes is challenging because routing targets evolve with the policy, strong initial mode preferences can destabilize exploration, and sequence-level objectives entangle routing with response learning. We introduce CounterRoute, an online reinforcement-learning framework that jointly learns routing and mode-conditioned responses in one shared policy directly from a native dual-mode checkpoint, without method-specific SFT warm-up. Paired current-policy counterfactual rollouts estimate cross-mode routing credit, which is assigned only to the routing token, while within-mode GRPO trains response tokens. A paired-to-self-routed curriculum stabilizes early training with forced coverage of both modes before progressively transferring training to autonomous routing. Across nine benchmarks, CounterRoute better balances accuracy and efficiency than heuristic and learned adaptive-routing methods, improving macro-average accuracy at both Qwen3 scales while cutting mean generated tokens by 51% and 41%, respectively, versus always-thinking checkpoints. On instruction-following and commonsense benchmarks where direct answering is strong, think rates fall as low as 1% while response quality improves. Despite training only on math and synthetic instruction-following data, its routing and response quality generalize to held-out tasks in coding, science, knowledge, and commonsense.
- Abstract（参考訳）: 推論可能な言語モデルは、直接答えが十分であり、推論計算を無駄にするときに、長いチェーンの思考を生成することが多い。
デュアルモードモデルは思考モードと直接回答モードの両方を提供するが、通常はユーザーにモードの選択を与える。
両方のモード下で応答を改善しながら、この選択を自動化することは、ルーティングターゲットがポリシーによって進化するため、強力な初期モード優先が探索を不安定にし、シーケンスレベルの目的がルーティングと応答学習を絡ませるため、難しい。
オンライン強化学習フレームワークであるCounterRouteを導入する。これは、メソッド固有のSFTウォームアップを使わずに、ネイティブなデュアルモードチェックポイントから直接、1つの共有ポリシでルーティングとモード条件の応答を共同で学習する。
Paired current-policy counterfactual rollouts estimated cross-mode routing credit, which is assigned to the routing token, while in-mode GRPO train response tokens。
ペア・ツー・セルフのカリキュラムは、トレーニングを段階的に自律的なルーティングに移行する前に、両方のモードを強制的にカバーして早期トレーニングを安定化させる。
9つのベンチマークで、CounterRouteは、ヒューリスティックと学習したアダプティブルーティング手法よりも精度と効率のバランスを良くし、平均生成トークンを51%、平均生成トークンを41%削減しながら、両方のQwen3スケールでのマクロ平均精度を改善した。
直接回答が強いインストラクションフォローとコモンセンスベンチマークでは、思考率は1%まで低下し、応答品質は向上する。
数学と合成命令追跡データのみを訓練するが、そのルーティングと応答の質は、コーディング、科学、知識、常識の保持されたタスクに一般化する。
関連論文リスト
- Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - PathRouter: Aligning Rewards with Retrieval Quality in Agentic Graph Retrieval-Augmented Generation [41.730631759393525]
エージェントグラフRAGは言語モデルエージェントを反復的に検索し、グラフ構造化された証拠を推論するように訓練する。
エージェントグラフRAGのためのパス認識学習フレームワークPathを提案する。
論文 参考訳（メタデータ） (2026-06-15T08:48:04Z) - AdaptR1: Reinforcement Learning Based Adaptive Interleaved Thinking in Multi-hop Question Answering [76.52199013231484]
マルチホップ質問回答(QA)における適応的インターリーブド思考のための強化学習(RL)に基づくフレームワークAdaptR1を紹介する。
Graph-R1設定では、AdaptR1は平均的なシンクトークンを69.71%削減し、HotpotQAは90.35%削減された。
分析の結果,マルチホップ推論における過度な思考は,一様分布ではなく,初期計画段階で主に発生することが明らかとなった。
論文 参考訳（メタデータ） (2026-05-29T09:34:45Z) - When Are Experts Misrouted? Counterfactual Routing Analysis in Mixture-of-Experts Language Models [27.942734943134983]
Mixture-of-Experts (MoE)言語モデルは、各トークンを専門家の小さなサブセットにルーティングする。
検証された推論軌道において,各標準経路を同一のトークンに対してサンプル化された等価な代替手段と比較し,実効トークンに割り当てる次の確率でスコアする。
標準ルータは信頼性の高いトークンではルートユーティリティと整合性があるが、ハード推論を駆動する脆弱なトークンでは非形式的である。
論文 参考訳（メタデータ） (2026-05-08T05:26:09Z) - Path-Lock Expert: Separating Reasoning Mode in Hybrid Thinking via Architecture-Level Separation [16.560201276956175]
ハイブリッド思考言語モデルは明示的な思考と非思考モードを露呈するが、現在の設計ではそれらをきれいに分離していない。
一つの計算層を意味的にロックされた2つの専門家に置き換えるアーキテクチャレベルのソリューションであるPath-Lock Expert (PLE)を提案する。
PLEは、より正確で、より簡潔で、リークの原因となる可能性がはるかに低い、はるかに強力なノンシンクモードを生成する。
論文 参考訳（メタデータ） (2026-04-29T21:07:47Z) - OG-Rank: Learning to Rank Fast and Slow with Uncertainty and Reward-Trend Guided Adaptive Exploration [5.524931642256774]
臨床医は、リアルタイムで機能し、選択を正当化するランキングシステムが必要です。
OG-Rank は単復号器方式で、プールされた第一音素信号と不確実な説明ステップとをペアリングする。
モデルは、全ての候補を1回のパスでスコア付けし、リストが真に曖昧である場合にのみ、短い構造化された論理を生成する。
論文 参考訳（メタデータ） (2025-10-20T15:00:02Z) - Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。
ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-10-14T17:51:26Z) - Learning from Diverse Reasoning Paths with Routing and Collaboration [65.77515749498575]
経路品質フィルタリング,条件付きルーティング,ピアラーニングを組み合わせたQR-Distill(Quality-filtered Routing with Cooperative Distillation)を提案する。
従来のシングルパス蒸留法やマルチパス蒸留法よりもQR-ディスティルが優れていることを示す実験がある。
論文 参考訳（メタデータ） (2025-08-23T01:15:57Z) - StableMoE: Stable Routing Strategy for Mixture of Experts [109.0602120199226]
Mixture-of-Experts (MoE)技術は、安価な計算オーバーヘッドでトランスフォーマーのモデルサイズをスケールアップすることができる。
本稿では、ルーティング変動問題に対処する2つのトレーニング段階を持つStableMoEを提案する。
その結果,StableMoEは収束速度と性能の両面で既存のMoE法よりも優れていた。
論文 参考訳（メタデータ） (2022-04-18T16:48:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。