論文の概要: Training-Free Inference-Time Self-Reflection and Cost-Bounded Early Stopping for Large Language Models
- arxiv url: http://arxiv.org/abs/2608.18884v1
- Date: Wed, 19 Aug 2026 13:09:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.403853
- Title: Training-Free Inference-Time Self-Reflection and Cost-Bounded Early Stopping for Large Language Models
- Title（参考訳）: 大規模言語モデルの学習自由時間自己回帰とコスト境界早期停止
- Abstract要約: EvoResearcherはトレーニング不要の推論時間プロトコルで、単一の冷凍LDMバックボーンにコストバウンドな自己反射を追加する。
4つの自己反射型メタリワードコンポーネントは、プロンプトレベルのメカニズムとしてインスタンス化された設計原則として機能する。
- 参考スコア（独自算出の注目度）: 15.961083103517872
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement-learning training of reasoning LLMs (e.g., GRPO) is expensive and requires a controllable environment, committing every contribution to a full training pipeline. We present EvoResearcher, a training-free, inference-time protocol that adds cost-bounded self-reflection to a single frozen LLM backbone. The protocol iterates generate -> self-critique -> revise until a maximum depth D is reached or the critique returns the CONFIRMED sentinel, an implicit early stop that lets the backbone self-verify its answer under a strict compute budget. Four self-reflective meta-reward components (correctness, efficiency, reflection depth, tool-call diversity) act as design principles instantiated as prompt-level mechanisms, so their benefits accrue with zero gradient updates. We validate the protocol on Big-Bench Hard (100 questions) and establish cross-domain behavior on GSM8K (500) and MATH (500) on the same frozen backbone, with cross-model replication on Qwen2.5-72B. All experiments use pure-reasoning benchmarks; the tool-call diversity component is validated in prompt-level form, and the environment-level and multi-agent extensions are design blueprints left to future work. On clean BBH the protocol does not raise accuracy beyond the 95% Wilson interval; its value is cost-bounded self-verification, with the CONFIRMED early stop terminating 82-88% of items at equal accuracy (about 2.1 generations per question).
- Abstract（参考訳）: 推論LDM(例えばGRPO)の強化学習トレーニングは高価で、制御可能な環境を必要とし、完全なトレーニングパイプラインにすべての貢献をコミットする。
EvoResearcherは、トレーニング不要の推論時間プロトコルで、単一の冷凍LDMバックボーンにコストバウンドな自己回帰を追加する。
プロトコルは、最大深度Dに達するか、あるいは批評家がCONFIRMED センチネルを返すまで、生成 -> 自己批判 -> を繰り返す。
4つの自己反射型メタリワードコンポーネント(正確性、効率性、反射深度、ツールコールの多様性)は、プロンプトレベルのメカニズムとしてインスタンス化された設計原則として機能する。
このプロトコルをBig-Bench Hard(100質問)上で検証し,同じ冷凍バックボーン上でGSM8K(500)とMATH(500)のクロスドメイン動作を確立し,Qwen2.5-72B上でクロスモデルレプリケーションを行う。
ツールコールの多様性コンポーネントはプロンプトレベルの形で検証され、環境レベルの拡張とマルチエージェント拡張は将来の作業に残された設計青写真である。
CONFIRMED早期停止は82-88%のアイテムを同じ精度で終了させる(質問1回あたり約2.1世代)。
関連論文リスト
- REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - Drop the Act: Probe-Filtered RL for Faithful Chain-of-Thought Reasoning [1.3011345529764784]
モデル推論は、社内ですでに約束している答えを合理化します。
ProFILは、コミット後の劇場を**11--100%*で減らし、忠実な違反を引き起こす(例えば、独立のクロード3.7ソンネット判事の下でLiveCodeBenchで+24pp)。
ProFILはまた、一致した長さのペナルティGRPOベースラインを破り、チェイン圧縮よりもセマンティックなコミットメント検出としてゲインを分離する。
論文 参考訳（メタデータ） (2026-05-12T03:30:23Z) - Process Reward Agents for Steering Knowledge-Intensive Reasoning [18.184546182516225]
本稿では,ドメインベースでオンライン,ステップワイドな報酬を凍結ポリシに提供するテストタイム手法であるProcess Reward Agents(PRA)を紹介する。
PRAは強いベースラインを一貫して上回り、Qwen3-4BでMedQAで80.8%の精度を達成した。
PRAは0.5Bから8Bまでの凍結ポリシーモデルを一般化し、ポリシーモデルを更新することなく、その精度を最大25.7%向上させる。
論文 参考訳（メタデータ） (2026-04-10T16:45:44Z) - Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。
提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。
より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
論文 参考訳（メタデータ） (2026-01-06T12:31:51Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - SPARK: Stepwise Process-Aware Rewards for Reference-Free Reinforcement Learning [39.1720897614261]
密度の高いステップレベルのフィードバックを提供するプロセス報酬モデル(PRM)は、強化学習の可能性を示している。
筆者らはSPARK(SPARK)という3段階のフレームワークを提案し、第1段階ではジェネレータモデルが多様な解を生成し、検証器モデルがそれらを評価する。
ステップレベルで複数の独立した検証を集約することで、根底的な結果管理を超越したプロセス報酬モデルのトレーニングデータが得られることを示す。
論文 参考訳（メタデータ） (2025-12-02T21:30:47Z) - Think Before You Prune: Self-Reflective Structured Pruning for Reasoning Language Models [31.422773877490613]
推論 LLM (Reasoning LLMs) はチェーン・オブ・ソート・ジェネレーションを通じて強力な多段階推論を実現する。
RLMの大きなモデルサイズと長いデコードタイムのアウトプットは、リソース制約のある設定にデプロイするのにコストがかかり、不適当である。
我々は、構造化されたプルーニングフレームワークであるRESPを紹介し、プルーニング決定とモデルの推論力学を一致させる。
論文 参考訳（メタデータ） (2025-12-01T20:27:05Z) - GRPO-CARE: Consistency-Aware Reinforcement Learning for Multimodal Reasoning [53.894789613838654]
我々は、複雑な実世界のビデオにバランスの取れた知覚と推論を必要とするベンチマークであるSEED-Bench-R1を紹介する。
SEED-Bench-R1を用いて、標準GRPOは解の精度を向上する一方で、推論ステップと解の論理的コヒーレンスを57.9%の一貫性で減少させる。
応答の正しさと推論コヒーレンスの両方を明示的な監督なしに最適化する整合性を考慮したRLフレームワークGRPO-CAREを提案する。
論文 参考訳（メタデータ） (2025-06-19T08:49:13Z) - S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。
以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
論文 参考訳（メタデータ） (2025-02-18T13:40:22Z) - Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
推論能力は汎用知能の重要な構成要素である。
OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。
本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
論文 参考訳（メタデータ） (2025-02-10T18:57:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。