論文の概要: Same Beliefs, Different Policies: Learning Reusable Representations for Early Stopping in LLM Reasoning

• arxiv url: http://arxiv.org/abs/2610.30450v1
• Date: Wed, 21 Oct 2026 21:05:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.137795
• Title: Same Beliefs, Different Policies: Learning Reusable Representations for Early Stopping in LLM Reasoning
• Title（参考訳）: 同一の信念, 異なる政策: LLM推論における早期停止のための再利用可能な表現の学習
• Abstract要約: BELT(BELief-based Termination)は、結果予測と停止制御を分離する。 あるプローブはCPUポリシーの調整やしきい値調整を通じて、異なる精度とコストのトレードオフをサポートする。 BELTは5つのアウト・オブ・ディストリビューション・数学のベンチマークで、Qwen3-1.7Bで41%、OLMo-3-7B-Thinkで51%削減した。
• 参考スコア（独自算出の注目度）: 71.05723778441718
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning LLMs often continue reasoning after reaching a correct answer, wasting computation and sometimes replacing it with an incorrect one. Deciding when to stop is a metareasoning problem: the model must weigh what further reasoning could achieve against its cost, given what it can already answer. Direct utility training learns a stopping representation at a chosen token price; supporting new prices can require additional controller training. We introduce BELT (BELief-based Termination), which separates outcome prediction from stopping control. It learns beliefs about current and future answers from a frozen LLM's hidden states, then fits a linear stopping policy on the frozen features. The prediction targets are independent of token price, so one probe supports different accuracy-cost trade-offs through CPU policy refitting or threshold adjustment. Averaged over five out-of-distribution (OOD) math benchmarks, BELT reduces generated tokens by 41% on Qwen3-1.7B and 51% on OLMo-3-7B-Think without loss of accuracy. The same math-trained BELT transfers to coding and agentic tasks without training on code or agentic data. In all three domains, its accuracy-cost trade-offs are competitive with or better than those of end-to-end controllers. On OLMo3, its probe has 21.2x fewer parameters than one checkpoint of the strongest baseline, OS-Pruner, and needs 55x fewer training GPU-hours than OS-Pruner's five price-specific checkpoints.
• Abstract（参考訳）: LLMの推論は、正しい答えに達した後も推論を継続し、計算を無駄にし、時に間違った解に置き換える。 モデルは、既に答えられることを考えると、そのコストに対してさらなる推論が達成できるものを評価する必要があります。 直接ユーティリティトレーニングは、選択されたトークン価格で停止表現を学ぶ。 BELT(BELief-based Termination)を導入し、結果予測と停止制御を分離する。 凍結したLLMの隠れ状態から現在と将来の答えに関する信念を学び、凍結した特徴に対して線形停止ポリシーに適合する。 予測対象はトークン価格に依存しないので、1つのプローブはCPUポリシの調整やしきい値調整を通じて、さまざまな精度コストのトレードオフをサポートする。 平均5つのout-of-distriion (OOD) のベンチマークにより、BELTはQwen3-1.7Bで41%、OLMo-3-7B-Thinkで51%削減した。 同じ数学で訓練されたBELTは、コードやエージェントデータをトレーニングすることなく、コーディングやエージェントタスクに転送する。 3つのドメインすべてにおいて、その正確さとコストのトレードオフは、エンドツーエンドのコントローラと競合するか、どちらよりも優れている。 OLMo3では、そのプローブは最強のベースラインであるOS-Prunerのチェックポイントの21.2倍のパラメータを持ち、OS-Prunerの5つの価格固有のチェックポイントの55倍のトレーニングGPU時間を必要とする。

関連論文リスト

• PORA: Learning When More Reasoning Pays Off for LLM Agents [51.398031320201916]
  LLMエージェントは、複数のステップでタスクを実行し、フィードバックに基づいてアクションを修正します。 より長い推論は、後のエラーを防止して最終的なタスク結果を改善することができるが、将来の決定に必要な予算容量も利用する。 Paired Outcome-guided Reasoning Allocation (PORA)を提案する。
  論文  参考訳（メタデータ） (2026-10-19T18:17:29Z)
• Sharpen Before You Adapt: Data-Free Entry-State Sharpening for Test-Time Reinforcement Learning [0.0]
  テスト時強化学習は、自身のサンプルから導かれた監督を用いて、ラベルのないテスト問題に言語モデルを適用する。 我々は,データフリーなトレーニング環境であるTTRLを用いて,ラベルなし適応がより効率的に活用できる状態の汎用チェックポイントを作成することを提案する。
  論文  参考訳（メタデータ） (2026-10-01T01:33:30Z)
• MetaCtrl: Your Large Language Models Can Reason Better and More Concisely with a Metacognitive Controller [20.056421925231813]
  トークン予算や推論の再トレーニングを必要とせず,凍結推論を適応的に制御する軽量コントローラであるMetaCtrlを紹介する。 数学、科学、コードにまたがる7つのベンチマークにおいて、MetaCtrlは推論長を減らしながらLRMの精度を一貫して改善している。 これらの結果は,推論時間生成を大幅に削減しつつ,推論精度を向上させるためのプラグアンドプレイコントローラとしてMetaCtrlを確立する。
  論文  参考訳（メタデータ） (2026-09-29T11:41:17Z)
• When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models [4.8190992438931035]
  LearnStopは、プレフィックスオブザーバブルな機能の上に隠された状態のないロジスティックストッパーである。 学習は、答えが振動し、正しさの証拠が広がる場所を給与する。 コスト計算は、KVキャッシュでトークンを32%節約するのと同じ方針で、ブラックボックスの繰り返しプリフィルで121%余分なコストがかかる。
  論文  参考訳（メタデータ） (2026-06-29T19:33:42Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization [50.59956036193097]
  検証可能な報酬(RLVR)を用いた強化学習における正しい解を生成するモデル 各トークンは、決定的な推論ステップであれ、文法的なフィラーであれ、同じ報酬信号を受信する。 コントラストエビデンスポリシー最適化(CEPO)を提案する。 CEPOは、全てのトークンに対してよりシャープな質問をする:「正しい答えは、このトークンを好むか?」が、「正しい答えは、正しい答えは、それを好む一方で、間違った答えはそれを好まないか?」。
  論文  参考訳（メタデータ） (2026-05-19T06:46:19Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• LYNX: Learning Dynamic Exits for Confidence-Controlled Reasoning [15.597220136913258]
  LYNXはオンラインのアーリーエグジットメカニズムで、モデル自身の隠れ状態の認識を信頼性制御による停止決定に変換する。 一般的な数学的コーパスで一度このプローブをトレーニングして校正し、ベンチマーク、復号化温度、さらには非数学的なタスクで再利用します。
  論文  参考訳（メタデータ） (2025-12-05T00:04:42Z)
• Thinkless: LLM Learns When to Think [57.857534644932194]
  推論モデル(Reasoning Language Models)は、複雑な論理的推論を必要とするタスクにおいて顕著な性能を示す。 我々は,LLMが短文推論と長文推論を適応的に選択できる学習可能なフレームワークであるThinklessを提案する。 Minerva Algebra、MATH-500、GSM8Kなどのベンチマークでは、Thinklessはロングチェーン思考の使用を50%から90%削減することができる。
  論文  参考訳（メタデータ） (2025-05-19T17:24:16Z)
• Right Question is Already Half the Answer: Fully Unsupervised LLM Reasoning Incentivization [47.04132451658664]
  我々の能力は、数学的および自由形式の自然推論のタスクにおいて、教師付きと競合する性能を達成します。 教師付き信号がなければ、Qwen2.5-Math-7B Baseの精度は30.7%から48.1%に向上する。
  論文  参考訳（メタデータ） (2025-04-08T08:48:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。