論文の概要: CALM: Consistency-Aware Logit Masking in Decoding Space for Mitigating Overthinking of Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2610.25908v1
• Date: Mon, 19 Oct 2026 07:10:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 03:45:19.341848
• Title: CALM: Consistency-Aware Logit Masking in Decoding Space for Mitigating Overthinking of Large Reasoning Models
• Title（参考訳）: CALM:大規模推論モデルの再検討のためのデコード空間における一貫性を考慮したロジットマスキング
• Abstract要約: 大規模推論モデル(LRM)は、挑戦的な数学的および科学的なタスクにおいて高い性能を達成している。 LRMは、しばしば不要な推論ステップで過度に考え直される。 LRMにおける過剰思考を緩和するためのトレーニング不要なデコード介入として,一貫性を考慮したロジットマスキング(CALM)を提案する。
• 参考スコア（独自算出の注目度）: 11.705290757029106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large reasoning models (LRMs) have achieved strong performance on challenging mathematical and scientific tasks through long chain-of-thought reasoning, but they often suffer from overthinking with unnecessary reasoning steps. Existing truncation-based methods typically detect consecutive trial-answer agreement and force early exit, yet such local stopping signals do not necessarily indicate final-answer stability and can disrupt useful subsequent reflection or verification, potentially leading to performance degradation. We propose consistency-aware logit masking (CALM), a training-free decoding intervention for mitigating overthinking in LRMs. CALM first monitors trial answers at step boundaries and then applies logit masking to action transition point (ATP) tokens such as "Wait", "Alternatively", and "Hmm", suppressing redundant transitional reasoning while allowing the model to continue its thought process more naturally. Experiments across four advanced LRMs and five benchmarks show that CALM reduces token consumption by 18.6%-25.0% compared with full CoT reasoning while maintaining performance, and can even improve accuracy by 0.07%-1.48% by reducing redundant reasoning. LLM-as-a-Judge results also demonstrate that CALM provides more coherent and concise results.
• Abstract（参考訳）: 大規模な推論モデル(LRM)は、長いチェーン・オブ・シークレット推論を通じて、数学や科学の課題に挑戦する上で高いパフォーマンスを達成してきたが、しばしば不要な推論ステップで過度に考えることに悩まされている。 既存のトランケーションに基づく手法は、通常、連続的な試行錯誤合意を検知し、早期終了を強制するが、そのような局所的な停止信号は最終回答の安定性を必ずしも示さず、有効な後続の反射や検証を妨害し、性能劣化を引き起こす可能性がある。 LRMにおける過度な思考を緩和するためのトレーニング不要なデコード介入であるCALM(Consistency-Aware Logit masking)を提案する。 CALMはまずステップ境界での試行の回答を監視し、次に"Wait"や"Alternatively"、"Hmm"といったアクショントランジションポイント(ATP)トークンにロジトマスキングを適用し、余分なトランジション推論を抑制しながら、モデルがより自然に思考プロセスを継続できるようにする。 4つの先進的なLRMと5つのベンチマークでの実験では、CALMは性能を維持しながら完全なCoT推論と比較してトークン消費を18.6%-25.0%削減し、冗長な推論を減らすことで精度を0.07%-1.48%向上させることができる。 LLM-as-a-Judgeの結果は、CALMがよりコヒーレントで簡潔な結果を提供することを示した。

関連論文リスト

• ThinkRetrieve: Retrieval-Augmented Reasoning Traces for Test-Time Scaling [60.48279351544583]
  ThinkRetrieveは大規模な推論モデルのためのテスト時間スケーリングフレームワークである。 それぞれの中間ステップで関連する例を検索し、思考トレースに直接注入する。 標準的なテスト時間スケーリングよりも精度が一貫して向上する。
  論文  参考訳（メタデータ） (2026-08-11T13:58:07Z)
• Efficient Test-Time Scaling via Temporal Reasoning Aggregation [5.87118425760756]
  本稿では,効率的なテスト時間スケーリングのためのトレーニングフリーフレームワークであるTRACEを提案する。 TRACEは、多段階証拠の時間的集約に基づいて推論を終了するタイミングを決定する。 TRACEは1～2%の精度を保ちながら平均25～30%の推論トークン使用率を低下させることを示した。
  論文  参考訳（メタデータ） (2026-04-19T07:39:40Z)
• When Is Thinking Enough? Early Exit via Sufficiency Assessment for Efficient Reasoning [52.21239821135325]
  本稿では、効率的な推論のための新しいフレームワークDTSR(Dynamic Thought Sufficiency in Reasoning)を紹介する。 人間のメタ認知にインスパイアされたDTSRは、リフレクションシグナルモニタリングとThought Sufficiency Checkという2つの段階で動作する。 DTSRは推論長を28.9%から34.9%削減し、性能損失を最小限に抑えている。
  論文  参考訳（メタデータ） (2026-04-08T07:56:28Z)
• Are Reasoning LLMs Robust to Interventions on Their Chain-of-Thought? [79.86483056611105]
  推論 LLM は、答えを出す前にステップバイステップの思考連鎖を生成する。 これらの推論は、その内部で発生する破壊の痕跡をどれほど堅牢にしていますか? 一定のタイミングでモデル自身のCoTを摂動させる制御された評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-02-07T10:02:58Z)
• Stop When Enough: Adaptive Early-Stopping for Chain-of-Thought Reasoning [46.106795445750855]
  REFRAINはトレーニング不要のフレームワークで、理由付けをやめて過度に考えることを緩和する。 REFRAINは、標準的なCoTプロンプトと比較して、トークンの使用量を20～55%削減し、精度を維持または改善している。
  論文  参考訳（メタデータ） (2025-10-11T08:30:00Z)
• Stop Spinning Wheels: Mitigating LLM Overthinking via Mining Patterns for Early Reasoning Exit [114.83867400179354]
  オーバーライドは、大きな言語モデル全体のパフォーマンスを低下させる可能性がある。 推論は, 探索段階の不足, 補償推論段階, 推論収束段階の3段階に分類される。 我々は,ルールに基づく軽量なしきい値設定戦略を開発し,推論精度を向上させる。
  論文  参考訳（メタデータ） (2025-08-25T03:17:17Z)
• ConCISE: Confidence-guided Compression in Step-by-step Efficient Reasoning [64.93140713419561]
  大型推論モデル (LRM) は、Chain-of-Thought (CoT) による複雑な推論タスクで強く機能するが、しばしば冗長な出力に悩まされる。 既存の微調整ベースの圧縮手法は、ポストホックプルーニングを動作させるか、コヒーレンスを推論する破壊を危険にさらすか、サンプリングベースの選択に依存するかのいずれかである。 ConCISEは、簡潔な推論連鎖を生成するために設計されたフレームワークであり、信頼注入を統合して推論の信頼性を高める。
  論文  参考訳（メタデータ） (2025-05-08T01:40:40Z)
• Dynamic Early Exit in Reasoning Models [21.30793518631921]
  長いチェーン・オブ・シンクレット(CoT)生成における再考は、問題解決の効率を低下させるだけでなく、精度損失のリスクも引き起こす。 我々は,LLMが生成時に早期終了によってCoT配列を自己トランケートできる簡易かつ効果的な方法を提案する。 提案手法は追加のトレーニングを必要とせず,既存の o1 ライクな推論 LLM にシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-04-22T13:36:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。