論文の概要: Route-and-Generate: KL-Regularized Router Improvement for Reasoning Routing in LLMs

• arxiv url: http://arxiv.org/abs/2610.30351v1
• Date: Wed, 21 Oct 2026 19:09:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.11443
• Title: Route-and-Generate: KL-Regularized Router Improvement for Reasoning Routing in LLMs
• Title（参考訳）: ルート・アンド・ジェネレーション:LLMにおける共振ルーティングのためのKL調整ルータの改良
• Abstract要約: Route-and-Generate (Rouge) は階層的なトレーニングフレームワークであり、LLMが入力毎にいつ、どのくらいの推論が必要なのかを適応的に決定できる。 我々は、より短い正しい解を求めるランクベースの報酬を採用し、クローズドフォームのKL正規化ポリシー改善ステップを介してルーティングポリシーをニューラルルータに蒸留する。
• 参考スコア（独自算出の注目度）: 44.1078887016641
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models often apply complex reasoning indiscriminately, leading to overthinking on simple tasks and underthinking on harder ones. We present Route-and-Generate (Rouge), a hierarchical training framework that enables LLMs to adaptively decide when and how much reasoning is required for each input. Our approach decouples reasoning effort allocation from answer generation by introducing a routing policy that allocates a fixed sampling budget across multiple reasoning formats, while the base model is optimized with GRPO using per-sample rewards. To promote efficient reasoning, we employ a rank-based reward that favors shorter correct solutions, and update the routing policy via a closed-form KL-regularized policy improvement step distilled into a neural router. This design encourages concise answers on easy problems while reserving longer reasoning for harder ones, achieving improved accuracy-efficiency trade-offs across multiple reasoning benchmarks.
• Abstract（参考訳）: 大きな言語モデルは、しばしば複雑な推論を無差別に適用し、単純なタスクを過度に考え、難しいタスクを過小評価する。 我々は、LLMが入力毎にいつ、どのくらいの推論が必要なのかを適応的に決定できる階層的なトレーニングフレームワークであるRouge(Rouge)を提案する。 提案手法は,複数の推論形式にまたがって一定のサンプリング予算を割り当てるルーティングポリシを導入することで,回答生成からの推論作業割り当てを分離する。 効率的な推論を促進するために,より短い正しい解を求めるランクベースの報酬を用いて,ニューラルネットワークに蒸留した閉形式KL規則化されたポリシー改善ステップを介してルーティングポリシーを更新する。 この設計は、難解な推論を長く保ちながら、簡単な問題に対する簡潔な答えを奨励し、複数の推論ベンチマークで精度と効率のトレードオフを改善する。

関連論文リスト

• AdaptR1: Reinforcement Learning Based Adaptive Interleaved Thinking in Multi-hop Question Answering [76.52199013231484]
  マルチホップ質問回答(QA)における適応的インターリーブド思考のための強化学習(RL)に基づくフレームワークAdaptR1を紹介する。 Graph-R1設定では、AdaptR1は平均的なシンクトークンを69.71%削減し、HotpotQAは90.35%削減された。 分析の結果,マルチホップ推論における過度な思考は,一様分布ではなく,初期計画段階で主に発生することが明らかとなった。
  論文  参考訳（メタデータ） (2026-05-29T09:34:45Z)
• Think When Needed: Model-Aware Reasoning Routing for LLM-based Ranking [25.69863022367215]
  推論プロンプトはランキングユーティリティを向上させることができるが、その利点は一貫性がなく、かなりの計算コストがかかる。 本稿では, 直接推論 (Non-Think) と推論 (Think) を用いるかを決定するために, 軽量なプラグアンドプレイルータヘッドを用いた推論ルーティングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-26T05:09:07Z)
• Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。 本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。 本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
  論文  参考訳（メタデータ） (2026-01-08T15:56:44Z)
• R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization [86.32257216965229]
  そこで本稿では,MLLMの自己改善を支援するオンライン強化学習フレームワークを提案する。 StepGRPOは、Step-wise Reasoning Accuracy Reward (StepRAR)とStep-wise Reasoning Validity Reward (StepRVR)の2つの新しいルールベースの推論報酬を導入した。 提案するStepGRPOでは,ステップバイステップ推論に優れた機能を持つMLLMのシリーズであるR1-VLを紹介する。
  論文  参考訳（メタデータ） (2025-03-17T08:51:44Z)
• Meta-Reasoner: Dynamic Guidance for Optimized Inference-time Reasoning in Large Language Models [35.82665698868508]
  大規模言語モデル(LLM)は、推論時間の間に高い計算時間とエラーの伝播に苦労する。 提案するMeta-Reasonerは,LLMが推論時間における推論方法の戦略を調整することで,推論計算を最適化するための新しいフレームワークである。 提案手法は,従来のSOTA法よりも9～12%向上し,推論時間を28～35%短縮する。
  論文  参考訳（メタデータ） (2025-02-27T09:40:13Z)
• Large Language Models as an Indirect Reasoner: Contrapositive and Contradiction for Automated Reasoning [74.90592233107712]
  本稿では,直接推論 (DR) と間接推論 (IR) を並列な複数の推論経路として考慮し,最終解を導出する直接間接推論 (DIR) 手法を提案する。 我々のDIR法は単純だが有効であり、既存のCoT法と簡単に統合できる。
  論文  参考訳（メタデータ） (2024-02-06T03:41:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。