論文の概要: ORBIT: On-policy Exploration-Exploitation for Controllable Multi-Budget Reasoning

• arxiv url: http://arxiv.org/abs/2601.08310v1
• Date: Tue, 13 Jan 2026 07:57:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:19.108952
• Title: ORBIT: On-policy Exploration-Exploitation for Controllable Multi-Budget Reasoning
• Title（参考訳）: ORBIT: 制御可能なマルチ予算推論のためのオンライン探索-探索
• Authors: Kun Liang, Clive Bai, Xin Xu, Chenming Tang, Sanwoo Lee, Weijie Liu, Saiyong Yang, Yunfang Wu,
• Abstract要約: ORBITは制御可能な多予算推論フレームワークであり、入力によって引き起こされるよく分離された推論モードを持つ。 ORBITは,(1)複数のモード上での制御可能な推論行動,(2)各モード内での競争的推論密度,(3)これらのフロンティアポリシーを単一統一学生モデルに統合することを示す。
• 参考スコア（独自算出の注目度）: 18.118494145061813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Large Reasoning Models (LRMs) achieve strong performance by leveraging long-form Chain-of-Thought (CoT) reasoning, but uniformly applying overlong reasoning at inference time incurs substantial and often unnecessary computational cost. To address this, prior work explores various strategies to infer an appropriate reasoning budget from the input. However, such approaches are unreliable in the worst case, as estimating the minimal required reasoning effort is fundamentally difficult, and they implicitly fix the trade-off between reasoning cost and accuracy during training, limiting flexibility under varying deployment scenarios. Motivated by these limitations, we propose ORBIT, a controllable multi-budget reasoning framework with well-separated reasoning modes triggered by input. ORBIT employs multi-stage reinforcement learning to discover Pareto-optimal reasoning behaviors at each effort, followed by on-policy distillation to fuse these behaviors into a single unified model. Experiments show that ORBIT achieves (1) controllable reasoning behavior over multiple modes, (2) competitive reasoning density within each mode, and (3) integration of these frontier policies into a single unified student model while preserving clear mode separation and high per-mode performance.
• Abstract（参考訳）: 近年のLarge Reasoning Models (LRMs) は,長期的連鎖理論(CoT)推論を活用することで高い性能を達成している。 これを解決するために、事前の作業は、入力から適切な推論予算を推測する様々な戦略を探求する。 しかし、このようなアプローチは最悪の場合、最小限の推論努力を見積もることは基本的に困難であり、トレーニング中の推論コストと精度の間のトレードオフを暗黙的に修正し、さまざまなデプロイメントシナリオの下で柔軟性を制限するため、信頼性が低い。 これらの制約に触発され、入力によって引き起こされるよく分離された推論モードを持つ制御可能なマルチ予算推論フレームワークであるORBITを提案する。 ORBITは多段階強化学習を用いて、それぞれの取り組みにおけるパレート最適推論の振る舞いを発見し、続いて、これらの振る舞いを単一の統一モデルに融合させるオンライン蒸留を行う。 ORBITは,(1)複数のモード上での制御可能な推論動作,(2)各モード内での競争的推論密度,(3)明確なモード分離と高いモード性能を維持しつつ,これらのフロンティアポリシーを1つの統合された学生モデルに統合する。

関連論文リスト

• BARD: budget-aware reasoning distillation [25.725960386304646]
  ロング・チェーン・オブ・ソート (Long Chain-of-Thought, CoT) 蒸留は推論能力をより小さな言語モデルに効果的に伝達する。 bftextBudget-Aware Reasoning Distillation (BARD) を提案する。
  論文  参考訳（メタデータ） (2025-11-03T11:30:18Z)
• Thinking with Nothinking Calibration: A New In-Context Learning Paradigm in Reasoning Large Language Models [28.756240721942138]
  RLLM(Reasoning large language model)は、最近、構造化および多段階推論によって顕著な機能を示した。 我々は新しいICLパラダイムであるThinking with Nothinking (JointThinking)を提案する。 JointThinkingは、数発のチェーン・オブ・シークレット(CoT)を2回、過半数で上回っている。
  論文  参考訳（メタデータ） (2025-08-05T12:09:55Z)
• VL-Cogito: Progressive Curriculum Reinforcement Learning for Advanced Multimodal Reasoning [69.44871115752055]
  本稿では,PCuRL(Progressive Curriculum Reinforcement Learning)フレームワークを用いて学習した高度なマルチモーダル推論モデルを提案する。 PCuRLは、難易度が徐々に増大するタスクを通じてモデルを体系的にガイドし、多様なマルチモーダルコンテキストにおける推論能力を大幅に向上させる。 本フレームワークは,(1)連続するRLトレーニング段階におけるトレーニング難度を動的に調整するオンライン難易度重み付け機構,(2)タスク複雑度に応じて推論経路長を適応的に調整する動的長報奨機構,の2つの重要なイノベーションを紹介する。
  論文  参考訳（メタデータ） (2025-07-30T12:23:21Z)
• Hierarchical Budget Policy Optimization for Adaptive Reasoning [49.621779447691665]
  階層的予算政策最適化(Hierarchical Budget Policy Optimization, HBPO)は、モデルが問題固有の推論深度を犠牲にすることなく学習できる強化学習フレームワークである。 HBPOは、探索空間を予算制約付き階層(512-2560トークン)に分割する。 大規模な実験により、HBPOは平均トークン使用量を最大60.6%削減し、4つの推論ベンチマークで精度を3.14%改善した。
  論文  参考訳（メタデータ） (2025-07-21T17:52:34Z)
• Is Long-to-Short a Free Lunch? Investigating Inconsistency and Reasoning Efficiency in LRMs [8.359909829007005]
  大規模推論モデル(LRM)において,効率的な推論手法が行動の不整合をもたらすかどうかを検討する。 $ICBENCH$は、3次元にわたるLRMの不整合を測定するために設計されたベンチマークである。 より大きなモデルは一般的に小さなモデルよりも一貫性が高いが、すべてのモデルが広く「計画的」な振る舞いを示す。
  論文  参考訳（メタデータ） (2025-06-24T10:25:28Z)
• Fractional Reasoning via Latent Steering Vectors Improves Inference Time Compute [60.151643048803145]
  本稿では,推論時の推論強度を連続的に制御するフレームワークであるフラクショナル推論を提案する。 提案手法は, より深い推論を伴う潜在ステアリングベクトルを抽出し, 調整可能なスケーリング係数で再適用することによって機能する。 GSM8K、MATH500、GPQAの実験により、フラクショナル推論は様々な推論タスクやモデルのパフォーマンスを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2025-06-18T21:15:59Z)
• Scalable Chain of Thoughts via Elastic Reasoning [61.75753924952059]
  Elastic Reasoningは、スケーラブルな思考の連鎖のための新しいフレームワークである。 推論は、独立して割り当てられた予算で、思考と解決の2つのフェーズに分けられる。 我々のアプローチは、制約のない設定でもより簡潔で効率的な推論をもたらす。
  論文  参考訳（メタデータ） (2025-05-08T15:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。