論文の概要: CounterRoute: Self-Routed Reasoning via Hierarchical Counterfactual Credit Assignment
- arxiv url: http://arxiv.org/abs/2609.29109v1
- Date: Thu, 24 Sep 2026 06:39:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.756104
- Title: CounterRoute: Self-Routed Reasoning via Hierarchical Counterfactual Credit Assignment
- Title（参考訳）: CounterRoute: 階層的なカウンターファクトクレジットアサインメントによる自己代行型推論
- Abstract要約: 推論可能な言語モデルは、直接答えが十分である場合、しばしば長いチェーンの思考を生成する。
オンライン強化学習フレームワークであるCounterRouteを導入し、ひとつの共有ポリシでルーティングとモード応答を共同で学習する。
我々は、そのルーティング動作と、ホールドアウトコーディング、科学、知識、コモンセンスベンチマークに対する応答品質を一般化する。
- 参考スコア（独自算出の注目度）: 11.183409570425944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reasoning-capable language models often produce long chains of thought when direct answers suffice, wasting inference compute. Many dual-mode models leave this choice to users. Automating it is challenging because routing targets evolve with the policy, initial mode preferences destabilize exploration, and sequence-level objectives entangle routing with response learning. We introduce CounterRoute, an online reinforcement-learning framework that jointly learns routing and modeconditioned responses in one shared policy directly from a native dual-mode checkpoint, without method-specific SFT warm-up. Paired current-policy counterfactual rollouts assign cross-mode credit only to the routing token, while within-mode GRPO trains response tokens. A paired-to-self-routed curriculum stabilizes early training with forced rollouts from both modes, then increases self-routed updates to improve autonomous routing. Across nine benchmarks, CounterRoute better balances accuracy and efficiency than heuristic and learned adaptive-routing methods. Relative to always-thinking checkpoints, it improves macro-average accuracy while reducing mean generated tokens by 51% for Qwen3-8B and 41% for Qwen3-14B. On instruction-following and commonsense benchmarks where direct answering is strong, think rates fall as low as 1% while response quality improves. Despite training only on math and instruction following, its routing behavior and response quality generalize to held-out coding, science, knowledge, and commonsense benchmarks.
- Abstract（参考訳）: 推論可能な言語モデルは、直接答えが十分であり、推論計算を無駄にするときに、長いチェーンの思考を生成することが多い。
多くのデュアルモードモデルがこの選択をユーザーに委ねている。
ルーティングターゲットはポリシーに従って進化し、初期モードの好みによって探索が不安定になり、シーケンスレベルの目的がルーティングと応答学習が絡み合うため、自動化は難しい。
オンライン強化学習フレームワークであるCounterRouteを導入する。これは、メソッド固有のSFTウォームアップを使わずに、ネイティブなデュアルモードチェックポイントから直接、1つの共有ポリシでルーティングとモード条件付きレスポンスを共同で学習する。
ペアリングされた現行のカウンターファクトのロールアウトは、クロスモードのクレジットをルーティングトークンのみに割り当て、モード内GRPOはレスポンストークンをトレーニングする。
ペア・ツー・セルフコースのカリキュラムは、両方のモードからの強制ロールアウトで早期トレーニングを安定化させ、自動ルーティングを改善するために自己ルート更新を増加させる。
9つのベンチマークで、CounterRouteはヒューリスティックで学習された適応ルート法よりも精度と効率のバランスが良い。
Qwen3-8Bでは平均生成トークンを51%、Qwen3-14Bでは41%削減し、平均値の精度を向上させる。
直接回答が強いインストラクションフォローとコモンセンスベンチマークでは、思考率は1%まで低下し、応答品質は向上する。
数学と命令のみのトレーニングにもかかわらず、そのルーティング動作と応答品質は、ホールドアウトコーディング、科学、知識、コモンセンスベンチマークに一般化される。
関連論文リスト
- Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - PathRouter: Aligning Rewards with Retrieval Quality in Agentic Graph Retrieval-Augmented Generation [41.730631759393525]
エージェントグラフRAGは言語モデルエージェントを反復的に検索し、グラフ構造化された証拠を推論するように訓練する。
エージェントグラフRAGのためのパス認識学習フレームワークPathを提案する。
論文 参考訳（メタデータ） (2026-06-15T08:48:04Z) - AdaptR1: Reinforcement Learning Based Adaptive Interleaved Thinking in Multi-hop Question Answering [76.52199013231484]
マルチホップ質問回答(QA)における適応的インターリーブド思考のための強化学習(RL)に基づくフレームワークAdaptR1を紹介する。
Graph-R1設定では、AdaptR1は平均的なシンクトークンを69.71%削減し、HotpotQAは90.35%削減された。
分析の結果,マルチホップ推論における過度な思考は,一様分布ではなく,初期計画段階で主に発生することが明らかとなった。
論文 参考訳（メタデータ） (2026-05-29T09:34:45Z) - When Are Experts Misrouted? Counterfactual Routing Analysis in Mixture-of-Experts Language Models [27.942734943134983]
Mixture-of-Experts (MoE)言語モデルは、各トークンを専門家の小さなサブセットにルーティングする。
検証された推論軌道において,各標準経路を同一のトークンに対してサンプル化された等価な代替手段と比較し,実効トークンに割り当てる次の確率でスコアする。
標準ルータは信頼性の高いトークンではルートユーティリティと整合性があるが、ハード推論を駆動する脆弱なトークンでは非形式的である。
論文 参考訳（メタデータ） (2026-05-08T05:26:09Z) - Path-Lock Expert: Separating Reasoning Mode in Hybrid Thinking via Architecture-Level Separation [16.560201276956175]
ハイブリッド思考言語モデルは明示的な思考と非思考モードを露呈するが、現在の設計ではそれらをきれいに分離していない。
一つの計算層を意味的にロックされた2つの専門家に置き換えるアーキテクチャレベルのソリューションであるPath-Lock Expert (PLE)を提案する。
PLEは、より正確で、より簡潔で、リークの原因となる可能性がはるかに低い、はるかに強力なノンシンクモードを生成する。
論文 参考訳（メタデータ） (2026-04-29T21:07:47Z) - OG-Rank: Learning to Rank Fast and Slow with Uncertainty and Reward-Trend Guided Adaptive Exploration [5.524931642256774]
臨床医は、リアルタイムで機能し、選択を正当化するランキングシステムが必要です。
OG-Rank は単復号器方式で、プールされた第一音素信号と不確実な説明ステップとをペアリングする。
モデルは、全ての候補を1回のパスでスコア付けし、リストが真に曖昧である場合にのみ、短い構造化された論理を生成する。
論文 参考訳（メタデータ） (2025-10-20T15:00:02Z) - Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。
ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-10-14T17:51:26Z) - Learning from Diverse Reasoning Paths with Routing and Collaboration [65.77515749498575]
経路品質フィルタリング,条件付きルーティング,ピアラーニングを組み合わせたQR-Distill(Quality-filtered Routing with Cooperative Distillation)を提案する。
従来のシングルパス蒸留法やマルチパス蒸留法よりもQR-ディスティルが優れていることを示す実験がある。
論文 参考訳（メタデータ） (2025-08-23T01:15:57Z) - StableMoE: Stable Routing Strategy for Mixture of Experts [109.0602120199226]
Mixture-of-Experts (MoE)技術は、安価な計算オーバーヘッドでトランスフォーマーのモデルサイズをスケールアップすることができる。
本稿では、ルーティング変動問題に対処する2つのトレーニング段階を持つStableMoEを提案する。
その結果,StableMoEは収束速度と性能の両面で既存のMoE法よりも優れていた。
論文 参考訳（メタデータ） (2022-04-18T16:48:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。