論文の概要: SABER: Stability-Aware Early Exit for LLM Reasoning via Adversarial Branch Probing
- arxiv url: http://arxiv.org/abs/2608.27963v1
- Date: Fri, 28 Aug 2026 06:13:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.224431
- Title: SABER: Stability-Aware Early Exit for LLM Reasoning via Adversarial Branch Probing
- Title(参考訳): SABER: 逆分岐探索によるLDM推論の早期実行を意識した安定性
- Abstract要約: SABERは、逆分岐探索による安定性に配慮した早期退避のためのトレーニング不要のフレームワークである。
トークン使用量の平均は30.2%-39.8%減少し、完全長の推論と競合する精度を維持している。
- 参考スコア(独自算出の注目度): 32.867599324353456
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Reasoning Models (LRMs) achieve strong reasoning capabilities, yet long-chain reasoning becomes inefficient once the intermediate answer stabilizes across reasoning steps: additional reasoning yields little marginal benefit while incurring substantial inference cost. Existing early-exit methods based on confidence or entropy poorly capture reasoning stability, while consistency-based approaches rely on multi-step trajectory agreement, requiring sequential evaluations that delay exit. To better balance efficiency and reliability, we propose SABER, a training-free framework for stability-aware early exit via adversarial branch probing. SABER constructs simple yet effective semantic perturbations around intermediate reasoning states to form adversarial branches, and applies lightweight probing to estimate their likely final outcomes without full trajectory rollouts. When the probed outcomes remain consistent across branches, SABER exits early; otherwise, it continues reasoning. Experiments across multiple reasoning benchmarks and model architectures show that SABER reduces reasoning token consumption by 30.2\%--39.8\% on average while maintaining competitive accuracy with full-length reasoning.
- Abstract(参考訳): 大きな推論モデル(LRM)は強い推論能力を達成するが、中間応答が推論ステップをまたいで安定化すると、長鎖推論は非効率になる。
既存の信頼度やエントロピーに基づく早期退避法では推論安定性が不十分であり、一貫性に基づくアプローチは複数段階の軌道合意に依存し、退避を遅らせるための逐次的な評価を必要とする。
効率と信頼性のバランスを改善するために,逆分岐探索による早期退避を安定に認識するためのトレーニングフリーのフレームワークであるSABERを提案する。
SABERは、中間的推論状態を中心に単純だが効果的な意味摂動を構築して逆行枝を形成する。
探索された結果がブランチ間で一貫している場合、SABERは早期に終了する。
複数の推論ベンチマークとモデルアーキテクチャの実験により、SABERは推論トークンの消費を平均30.2\%-39.8\%削減し、完全長の推論と競合する精度を維持した。
関連論文リスト
- Stop When Reasoning Converges: Semantic-Preserving Early Exit for Reasoning Models [17.588873255093596]
長鎖の思考(CoT)を生成することでLRM(Large Reasoning Models)の性能が向上する
LRMは、しばしば過度に考え、ソリューションがすでに安定し、トークンを無駄にし、レイテンシを増大した後も、推論を続けます。
本稿では,軽量冗長検出器と応答レベル検証を組み合わせたプラグアンドプレイフレームワークPUMAを提案する。
論文 参考訳(メタデータ) (2026-05-17T22:04:11Z) - Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。
推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。
10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
論文 参考訳(メタデータ) (2026-05-08T07:08:25Z) - Stabilizing Efficient Reasoning with Step-Level Advantage Selection [54.563811052329235]
我々は,長さを意識しない標準のGRPOを用いて,短文のポストトレーニング単独で,すでにかなりの推理圧縮を誘導していることを示す。
そこで本稿では, 適切なロールアウトにおける低信頼度ステップと, 検証済みロールアウトにおける高信頼度ステップにゼロアドバンテージを割り当てるステップレベルアドバンテージ選択(SAS)を提案する。
論文 参考訳(メタデータ) (2026-04-27T03:34:59Z) - Efficient Test-Time Scaling via Temporal Reasoning Aggregation [5.87118425760756]
本稿では,効率的なテスト時間スケーリングのためのトレーニングフリーフレームワークであるTRACEを提案する。
TRACEは、多段階証拠の時間的集約に基づいて推論を終了するタイミングを決定する。
TRACEは1~2%の精度を保ちながら平均25~30%の推論トークン使用率を低下させることを示した。
論文 参考訳(メタデータ) (2026-04-19T07:39:40Z) - Early Stopping for Large Reasoning Models via Confidence Dynamics [55.67938134245981]
大きな推論モデルは複雑な問題を解決するために長い連鎖生成に依存している。
重要な課題は、いつモデルが推論を止めて最終回答を生み出すべきかを決定することです。
中間回答の信頼性のダイナミクスを利用して推論をいつ終了するかを判断する早期停止手法であるCoDE-Stopを提案する。
論文 参考訳(メタデータ) (2026-04-06T17:59:45Z) - Learning When to Sample: Confidence-Aware Self-Consistency for Efficient LLM Chain-of-Thought Reasoning [7.8668388431725695]
大規模言語モデル(LLM)は、チェーン・オブ・ソート(CoT)推論によって強い推論性能を達成する。
最近の自己整合性に基づくアプローチは、精度をさらに向上するが、複数の推論軌道のサンプリングと集約が必要である。
本稿では,単一経路と複数経路の推論を適応的に選択するための単一経路推論軌道を解析する信頼度対応決定フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-09T22:34:06Z) - Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。
REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。
スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
論文 参考訳(メタデータ) (2026-02-18T02:55:55Z) - Stop Spinning Wheels: Mitigating LLM Overthinking via Mining Patterns for Early Reasoning Exit [114.83867400179354]
オーバーライドは、大きな言語モデル全体のパフォーマンスを低下させる可能性がある。
推論は, 探索段階の不足, 補償推論段階, 推論収束段階の3段階に分類される。
我々は,ルールに基づく軽量なしきい値設定戦略を開発し,推論精度を向上させる。
論文 参考訳(メタデータ) (2025-08-25T03:17:17Z) - ConCISE: Confidence-guided Compression in Step-by-step Efficient Reasoning [64.93140713419561]
大型推論モデル (LRM) は、Chain-of-Thought (CoT) による複雑な推論タスクで強く機能するが、しばしば冗長な出力に悩まされる。
既存の微調整ベースの圧縮手法は、ポストホックプルーニングを動作させるか、コヒーレンスを推論する破壊を危険にさらすか、サンプリングベースの選択に依存するかのいずれかである。
ConCISEは、簡潔な推論連鎖を生成するために設計されたフレームワークであり、信頼注入を統合して推論の信頼性を高める。
論文 参考訳(メタデータ) (2025-05-08T01:40:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。