論文の概要: ROI-Reasoning: Rational Optimization for Inference via Pre-Computation Meta-Cognition
- arxiv url: http://arxiv.org/abs/2601.03822v1
- Date: Wed, 07 Jan 2026 11:30:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-09 02:15:23.481416
- Title: ROI-Reasoning: Rational Optimization for Inference via Pre-Computation Meta-Cognition
- Title（参考訳）: ROI推論:事前計算メタ認知による推論の合理的最適化
- Authors: Muyang Zhao, Qi Qi, Hao Sun,
- Abstract要約: 我々は,厳密なグローバルトークン制約の下で,複数のタスクに対する予算付き推論時間推論について検討した。
この視点はメタ認知的要件を強調し、タスクの難しさを予測し、投資よりもリターンを推定する。
2段階のフレームワークであるROI-Reasoningを提案する。
- 参考スコア（独自算出の注目度）: 11.094392304740134
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) can achieve strong reasoning performance with sufficient computation, but they do not inherently know how much computation a task requires. We study budgeted inference-time reasoning for multiple tasks under a strict global token constraint and formalize it as a Ordered Stochastic Multiple-Choice Knapsack Problem(OS-MCKP). This perspective highlights a meta-cognitive requirement -- anticipating task difficulty, estimating return over investment (ROI), and allocating computation strategically. We propose ROI-Reasoning, a two-stage framework that endows LLMs with intrinsic, budget-aware rationality. In the first stage, Meta-Cognitive Fine-Tuning teaches models to predict reasoning cost and expected utility before generation, enabling explicit solve-or-skip decisions. Next, Rationality-Aware Reinforcement Learning optimizes sequential decision making under a hard token budget, allowing models to learn long-horizon allocation strategies. Across budgeted mathematical reasoning benchmarks, ROI-Reasoning consistently improves overall score while substantially reducing regret under tight computation budgets.
- Abstract（参考訳）: 大規模言語モデル(LLM)は十分な計算量で強力な推論性能を達成できるが、その処理に必要な計算量は本質的には分かっていない。
我々は、厳密なグローバルトークン制約の下で複数のタスクに対する予算付き推論時間推論を研究し、これを順序付き確率的多重コリス・クナプサック問題(OS-MCKP)として定式化する。
この視点は、タスクの難しさを予測し、投資よりも利益を推定し(ROI)、戦略的に計算を割り当てるというメタ認知的要件を強調します。
2段階のフレームワークであるROI-Reasoningを提案する。
第一段階では、メタ認知ファインタニングがモデルに推論コストと予測ユーティリティを生成前に予測するように教え、明確な解決またはスキップの決定を可能にする。
次に、Rationality-Aware Reinforcement Learningは、ハードトークン予算の下でシーケンシャルな意思決定を最適化し、モデルが長期的なアロケーション戦略を学習できるようにする。
予算付き数学的推論ベンチマーク全体において、ROI-Reasoningは、厳密な計算予算下での後悔を著しく減らしながら、全体的なスコアを継続的に改善する。
関連論文リスト
- Budget-Aware Anytime Reasoning with LLM-Synthesized Preference Data [57.996437077411315]
計算予算に制限のある大規模言語モデル(LLM)の推論挙動について検討する。
我々は、任意の推論フレームワークとAnytime Indexを導入し、推論トークンが増加するにつれて、ソリューションの品質がいかに効果的に向上するかを定量化します。
NaturalPlan(Trip)、AIME、GPQAデータセットの実験では、Grok-3、GPT-oss、GPT-4.1/4o、LLaMAモデル間で一貫した利得を示している。
論文 参考訳（メタデータ） (2026-01-16T07:09:30Z) - BARD: budget-aware reasoning distillation [25.725960386304646]
ロング・チェーン・オブ・ソート (Long Chain-of-Thought, CoT) 蒸留は推論能力をより小さな言語モデルに効果的に伝達する。
bftextBudget-Aware Reasoning Distillation (BARD) を提案する。
論文 参考訳（メタデータ） (2025-11-03T11:30:18Z) - BudgetThinker: Empowering Budget-aware LLM Reasoning with Control Tokens [33.607723102172194]
BudgetThinkerは、予算を考慮した推論で大規模言語モデルを強化するために設計されたフレームワークである。
我々は、BudgetThinkerが、様々な推論予算におけるパフォーマンス維持において、強力なベースラインをはるかに上回っていることを示す。
論文 参考訳（メタデータ） (2025-08-24T03:17:50Z) - Steering LLM Thinking with Budget Guidance [48.65894557568655]
予算指導は、微調整を必要とせず、目標予算に向けてLSMの推論プロセスを操る方法である。
提案手法では,ガンマ分布を残りの思考長にわたってモデル化する軽量な予測器を提案する。
この信号は、生成をソフトでトークンレベルの方法でガイドするために使用され、全体の推論トレースが指定された思考予算に従うことを保証する。
論文 参考訳（メタデータ） (2025-06-16T17:57:05Z) - Optimizing Anytime Reasoning via Budget Relative Policy Optimization [70.32755424260336]
我々は,任意の推論性能を最適化する新しいフレームワークであるAnytimeReasonerを提案する。
従来の分布からサンプルトークンの予算に適合するように、完全な思考プロセスを切り離します。
次に、累積報酬を最大化するために、分割された方法で思考と要約ポリシーを最適化する。
論文 参考訳（メタデータ） (2025-05-19T17:58:44Z) - Scalable Chain of Thoughts via Elastic Reasoning [61.75753924952059]
Elastic Reasoningは、スケーラブルな思考の連鎖のための新しいフレームワークである。
推論は、独立して割り当てられた予算で、思考と解決の2つのフェーズに分けられる。
我々のアプローチは、制約のない設定でもより簡潔で効率的な推論をもたらす。
論文 参考訳（メタデータ） (2025-05-08T15:01:06Z) - Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [49.61246073215651]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。
OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
しかし、冗長な出力と冗長な出力による計算オーバーヘッドも大幅に発生する。
論文 参考訳（メタデータ） (2025-03-20T17:59:38Z) - Rational Metareasoning for Large Language Models [17.479428400594028]
大きな言語モデル(LLM)を使用するためのコアテクニックとして,推論への関与を促す声が上がっている。
本研究は,認知科学で用いられるメタレゾニングの計算モデルに基づく新しいアプローチを導入する。
我々は不必要な推論を罰することで計算の価値を組み込む報酬関数を開発する。
論文 参考訳（メタデータ） (2024-10-07T23:48:52Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z) - Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing [61.98556945939045]
収集された軌道上でのDPO(Direct Preference Optimization)を通して計画に基づく推論を学習するフレームワークを提案する。
論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
論文 参考訳（メタデータ） (2024-02-01T15:18:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。