論文の概要: Demystifying Entropy-based Selection for Chain-of-Thought Compression in Large Reasoning Models
- arxiv url: http://arxiv.org/abs/2607.28707v1
- Date: Thu, 30 Jul 2026 15:59:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.412652
- Title: Demystifying Entropy-based Selection for Chain-of-Thought Compression in Large Reasoning Models
- Title（参考訳）: 大規模共振モデルにおけるチェーン・オブ・ワット圧縮のデミスティファイションエントロピーに基づく選択
- Authors: Sara Candussio, Daniel Scalena, Luca Bortolussi, Elisabetta Fersini, Malvina Nissim, Gabriele Sarti,
- Abstract要約: エントロピーに基づくプルーニングは, チェイン・オブ・ソート(CoT)推論を非無視精度で圧縮する方法として提案されている。
エントロピーは任意の評価条件においてランダムプルーニングよりも有利であることを示す。
- 参考スコア（独自算出の注目度）: 16.372524974789492
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Entropy-based pruning has been proposed as an effective method for compressing Chain-of-Thought (CoT) reasoning with negligible accuracy loss. We test the robustness of low- and high-entropy CoT step selection methods across various models and reasoning tasks, showing that entropy offers no advantage over random pruning in any evaluated setting. Moving from sentences to tokens, we then show that retaining low-entropy tokens seems effective only on mathematical benchmarks. We find this is due to the inherently low-entropy nature of numeric tokens, which also convey semantic content in such problems. Finally, we demonstrate that patching a subset of a few CoT tokens with their original activations recovers near-perfect full-trace performance, providing causal evidence that task information is not concentrated in a small set of CoT tokens identifiable by heuristics, but rather distributed across the full reasoning chain.
- Abstract（参考訳）: エントロピーに基づくプルーニングは, チェイン・オブ・ソート(CoT)推論を非無視精度で圧縮する方法として提案されている。
我々は,様々なモデルおよび推論タスクにおける低エントロピーCoTステップ選択法のロバスト性を検証し,任意の評価条件下でのランダムプルーニングに対してエントロピーが有利であることを示す。
文からトークンへ移行すると、低エントロピートークンの保持は数学的なベンチマークでのみ有効であることを示す。
これは、本質的には数値トークンのエントロピーの低い性質によるもので、このような問題のセマンティックな内容も伝達する。
最後に、いくつかのCoTトークンのサブセットを元のアクティベーションでパッチすることで、ほぼ完全なフルトレース性能が回復し、タスク情報がヒューリスティックスによって識別可能なCoTトークンの小さなセットに集中していないという因果的証拠を提供する。
関連論文リスト
- Revisiting Chain-of-Thought Reasoning under Limited Supervision: Semi-supervised Chain-of-Thought Learning [17.893249958828218]
疑似推論監視を構築するために,ラベルのない質問を用いたフレームワークを提案する。
Semi-CoTは、ラベルのない質問ごとに複数の擬似CoTをサンプリングし、回答レベルのセマンティックエントロピーを推定し、信頼性の高い擬似CoTデモとして低エントロピー推論チェーンを選択する。
AQuA、SVAMP、GSM8K、MultiArithの試験実験では、エントロピーゲートが高い精度の擬似CoTを選択し、擬似応答精度は911.36%$から100%$である。
論文 参考訳（メタデータ） (2026-07-01T22:17:39Z) - When Chain-of-Thought Fails, the Solution Hides in the Hidden States [6.13796568285414]
アクティベーションパッチを用いてトークンレベルの隠蔽状態をCoT生成からダイレクト・アンサー・ランに転送する。
元のトレースが正しくない場合でも,個々のCoTトークンが正しい回答を回復するのに十分な情報をエンコードできることがわかった。
論文 参考訳（メタデータ） (2026-04-25T15:33:21Z) - Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization [78.94590726578014]
マルチモーダル推論モデル (Multimodal reasoning model, MLRM) は幻覚の傾向が強く, 効果的な解はいまだ未発見のままである。
textbfCompression と textbfPreference textbfOptimization を組み合わせたトレーニングベースの緩和フレームワーク C3PO を提案する。
論文 参考訳（メタデータ） (2026-02-03T11:00:55Z) - EntroCoT: Enhancing Chain-of-Thought via Adaptive Entropy-Guided Segmentation [18.606842425858]
CoT(Chain-of-Thought)の促進により、大規模言語モデルの数学的推論能力が大幅に向上した。
既存の微調整データセットは、しばしば"答えは正しいが間違った理由"プローブに悩まされる。
本稿では,高品質なCoT監視トレースを自動的に識別し,精錬するための統合フレームワークであるEntroCoTを提案する。
論文 参考訳（メタデータ） (2026-01-07T10:02:27Z) - Fractured Chain-of-Thought Reasoning [61.647243580650446]
完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。
フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
論文 参考訳（メタデータ） (2025-05-19T11:30:41Z) - Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。
統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
論文 参考訳（メタデータ） (2024-08-25T04:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。