論文の概要: Logit-Entropy Adaptive Stopping Heuristic for Efficient Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2511.04654v1
• Date: Thu, 06 Nov 2025 18:43:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.566221
• Title: Logit-Entropy Adaptive Stopping Heuristic for Efficient Chain-of-Thought Reasoning
• Title（参考訳）: 効率的なチェーン・オブ・ソート推論のためのロジトエントロピー適応停止ヒューリスティック
• Authors: Mohammad Atif Quamar, Mohammad Areeb,
• Abstract要約: CoTプロンプト(Chain-of-Thought)は、大規模言語モデルにおいて複雑な推論を可能にする重要なテクニックである。 LEASH: Logit-Entropy Adaptive Stopping Heuristicは,有理数生成を適応的に停止する学習自由復号アルゴリズムである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-Thought (CoT) prompting is a key technique for enabling complex reasoning in large language models. However, generating full, fixed-length rationales is computationally wasteful, inflating both token usage and latency. We introduce LEASH: Logit-Entropy Adaptive Stopping Heuristic, a training-free decoding algorithm that adaptively halts rationale generation. LEASH monitors two intrinsic signals: the slope of token-level entropy and the improvement in the top-logit margin. It terminates the generation once both signals plateau, indicating the model has reached a stable reasoning state. Across four instruction-tuned models on the GSM8K and AQuA-RAT benchmarks, LEASH reduces average token generation by 30--35% and latency by 27%, while incurring a 10 p.p. accuracy drop relative to CoT. LEASH is model-agnostic and requires no additional training or supervision, offering a simple and efficient alternative to CoT decoding.
• Abstract（参考訳）: CoTプロンプト(Chain-of-Thought)は、大規模言語モデルにおいて複雑な推論を可能にする重要なテクニックである。 しかし、完全で固定長の有理数を生成することは計算的に無駄であり、トークンの使用量とレイテンシの両方を膨らませる。 LEASH: Logit-Entropy Adaptive Stopping Heuristicは,有理数生成を適応的に停止する学習自由復号アルゴリズムである。 LEASHは、トークンレベルのエントロピーの傾斜と、トップログマージンの改善という、2つの固有の信号を監視する。 両信号プラトーが安定な推論状態に達したことを示すため、生成を終了する。 GSM8KとAQuA-RATベンチマークの4つの命令調整モデルの中で、LEASHは平均トークン生成を30～35%減らし、レイテンシを27%減らし、CoTと比較して10 p.p.の精度低下をもたらす。 LEASHはモデルに依存しないため、追加のトレーニングや監督は必要とせず、CoTデコードに代わるシンプルで効率的な代替手段を提供する。

関連論文リスト

• SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
  Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。 暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。 そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
  論文  参考訳（メタデータ） (2025-09-24T17:01:32Z)
• Adaptive Overclocking: Dynamic Control of Thinking Path Length via Real-Time Reasoning Signals [8.264189366042675]
  本稿では,ハイパーパラメータ$alpha$ dynamicとコンテキスト認識を実現するAdaptive Overclockingを提案する。 提案手法は,2つの相補的な信号による推論速度をリアルタイムで調整する。 GSM8K, MATH, SVAMPの実験により, HACは高い精度・遅延トレードオフを実現することが示された。
  論文  参考訳（メタデータ） (2025-09-21T09:40:27Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
  STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。 従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
  論文  参考訳（メタデータ） (2025-06-05T07:31:18Z)
• Continuous Speculative Decoding for Autoregressive Image Generation [27.308442169466975]
  連続的視覚自己回帰(AR)モデルは、画像生成において有望な性能を示す。 投機的復号化は 事実上 自己回帰推論を加速させた この研究は、低受理率、不整合出力分布、解析式のない修正分布からの課題に対処する。
  論文  参考訳（メタデータ） (2024-11-18T09:19:15Z)
• Training Chain-of-Thought via Latent-Variable Inference [30.21067593018967]
  大規模言語モデル(LLM)は、チェーン・オブ・シンクレットのプロンプトを使って解答ステップを実行するように指示されたときに、より正確かつ解釈可能な問題を解決する。 CoTと教師付きチューニングを組み合わせるには、正しい回答だけでなく、それらの答えにつながる詳細な根拠の監督が必要である。 そこで本研究では,CoTプロンプトを用いて正しい回答を生成することで,電子対数類似度を最大化するための微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-28T17:47:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。