論文の概要: EntroCut: Entropy-Guided Adaptive Truncation for Efficient Chain-of-Thought Reasoning in Small-scale Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2601.22617v1
• Date: Fri, 30 Jan 2026 06:19:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.266277
• Title: EntroCut: Entropy-Guided Adaptive Truncation for Efficient Chain-of-Thought Reasoning in Small-scale Large Reasoning Models
• Title（参考訳）: EntroCut: 大規模推論モデルにおける効率的なチェーン・オブ・ソート推論のためのエントロピー誘導適応トランケーション
• Authors: Hongxi Yan, Qingjie Liu, Yunhong Wang,
• Abstract要約: 大規模推論モデル(LRM)は、拡張連鎖生成による複雑な推論タスクに優れる。 初期の推論ステップにおけるモデル出力分布のエントロピーは、正しい推論と間違った推論とを確実に区別する。 本研究では,高信頼状態を特定することによって推論を動的に切り離す訓練自由度手法であるEntroCutを提案する。
• 参考スコア（独自算出の注目度）: 42.49934375597466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Reasoning Models (LRMs) excel at complex reasoning tasks through extended chain-of-thought generation, but their reliance on lengthy intermediate steps incurs substantial computational cost. We find that the entropy of the model's output distribution in early reasoning steps reliably distinguishes correct from incorrect reasoning. Motivated by this observation, we propose EntroCut, a training-free method that dynamically truncates reasoning by identifying high-confidence states where reasoning can be safely terminated. To comprehensively evaluate the trade-off between efficiency and accuracy, we introduce the Efficiency-Performance Ratio (EPR), a unified metric that quantifies relative token savings per unit accuracy loss. Experiments on four benchmarks show that EntroCut reduces token usage by up to 40\% with minimal accuracy sacrifice, achieving superior efficiency-performance trade-offs compared with existing training-free methods. These results demonstrate that entropy-guided dynamic truncation provides a practical approach to mitigate the inefficiency of LRMs.
• Abstract（参考訳）: 大規模推論モデル(LRM)は、拡張チェーン・オブ・ソート生成を通じて複雑な推論タスクに優れるが、長い中間ステップに依存しているため、かなりの計算コストがかかる。 初期の推論ステップにおけるモデル出力分布のエントロピーは、正しい推論と間違った推論とを確実に区別する。 本研究の目的は,推論を安全に終了できる高信頼状態を特定することによって推論を動的に切り離す訓練自由な手法であるEntroCutを提案することである。 効率と精度のトレードオフを包括的に評価するために,単位精度損失当たりの相対的トークン貯蓄を定量化する統一計量であるEPR(Efficic-Performance Ratio)を導入する。 4つのベンチマークでの実験では、EntroCutはトークンの使用量を最大40%削減し、最小の精度の犠牲を被る。 これらの結果から, エントロピー誘導動的トランケーションは, LRMの非効率性を軽減するための実用的アプローチであることが示された。

関連論文リスト

• ENTRA: Entropy-Based Redundancy Avoidance in Large Language Model Reasoning [30.786062954495403]
  大規模な推論モデル(LRM)は、単純なタスクであっても必要以上に長い推論チェーンを生成するため、過度に考え直されることが多い。 本稿では,性能を保ちながら冗長な推論を抑制するエントロピーベースのトレーニングフレームワークであるENTRAを提案する。
  論文  参考訳（メタデータ） (2026-01-12T01:26:30Z)
• ARS: Adaptive Reasoning Suppression for Efficient Large Reasoning Language Models [0.0]
  推論抑制(Reasoning Suppression、ARS)は、冗長な推論ステップを動的に抑制する訓練のないアプローチである。 ARSは53%、46.1%、57.9%のトークン、レイテンシ、エネルギー削減を実現し、精度を維持または改善している。
  論文  参考訳（メタデータ） (2025-09-29T20:19:41Z)
• AALC: Large Language Model Efficient Reasoning via Adaptive Accuracy-Length Control [18.273777938294327]
  大きな推論モデル(LRM)は、長いチェーン・オブ・シークレットを生成することで印象的な推論能力を達成する。 我々は、強化学習に組み込まれた軽量で精度の高い長さの報酬であるALCを紹介する。 提案手法は,元の精度を維持したり改善したりしながら,応答長を50%以上削減することを示す。
  論文  参考訳（メタデータ） (2025-06-25T06:29:18Z)
• Think or Not? Exploring Thinking Efficiency in Large Reasoning Models via an Information-Theoretic Lens [51.90059610606049]
  本稿では,情報理論レンズによる推論プロセスの効率を再考する。 本稿では,理想的な推論経路と段階的な情報提供から分岐を定量化するために,InfoBias と InfoGain という2つの指標を提案する。 これらの知見に触発されて,信頼度が十分に高ければ推論を動的に停止する,エントロピーに基づく適応的思考戦略を導入する。
  論文  参考訳（メタデータ） (2025-05-23T13:38:56Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• ConCISE: Confidence-guided Compression in Step-by-step Efficient Reasoning [64.93140713419561]
  大型推論モデル (LRM) は、Chain-of-Thought (CoT) による複雑な推論タスクで強く機能するが、しばしば冗長な出力に悩まされる。 既存の微調整ベースの圧縮手法は、ポストホックプルーニングを動作させるか、コヒーレンスを推論する破壊を危険にさらすか、サンプリングベースの選択に依存するかのいずれかである。 ConCISEは、簡潔な推論連鎖を生成するために設計されたフレームワークであり、信頼注入を統合して推論の信頼性を高める。
  論文  参考訳（メタデータ） (2025-05-08T01:40:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。