論文の概要: ETR: Entropy Trend Reward for Efficient Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2604.05355v1
• Date: Tue, 07 Apr 2026 02:53:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.588028
• Title: ETR: Entropy Trend Reward for Efficient Chain-of-Thought Reasoning
• Title（参考訳）: ETR:効率的なチェーン・オブ・ソート推論のためのエントロピートレンド・リワード
• Authors: Xuan Xiong, Huan Liu, Li Gu, Zhixiang Chi, Yue Qiu, Yuanhao Yu, Yang Wang,
• Abstract要約: 推論効率は不確実性の軌跡に支配されていることを示す。 本研究では,進行的不確実性低減を促す軌道認識目的であるエントロピートレンド・リワード(ETR)を提案する。 ETRは精度と効率のトレードオフを一貫して達成し、DeepSeek-R1-Distill-7Bを9.9%改善し、4つのベンチマークでCoTの長さを67%削減した。
• 参考スコア（独自算出の注目度）: 21.89075827785914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-thought (CoT) reasoning improves large language model performance on complex tasks, but often produces excessively long and inefficient reasoning traces. Existing methods shorten CoTs using length penalties or global entropy reduction, implicitly assuming that low uncertainty is desirable throughout reasoning. We show instead that reasoning efficiency is governed by the trajectory of uncertainty. CoTs with dominant downward entropy trends are substantially shorter. Motivated by this insight, we propose Entropy Trend Reward (ETR), a trajectory-aware objective that encourages progressive uncertainty reduction while allowing limited local exploration. We integrate ETR into Group Relative Policy Optimization (GRPO) and evaluate it across multiple reasoning models and challenging benchmarks. ETR consistently achieves a superior accuracy-efficiency tradeoff, improving DeepSeek-R1-Distill-7B by 9.9% in accuracy while reducing CoT length by 67% across four benchmarks. Code is available at https://github.com/Xuan1030/ETR
• Abstract（参考訳）: CoT推論(Chain-of-Thought reasoning)は複雑なタスクにおける言語モデルのパフォーマンスを改善するが、多くの場合、過度に長く非効率な推論トレースを生成する。 既存の方法では、長さのペナルティや大域的なエントロピーの削減を用いてCoTを短くし、推論を通して低い不確実性が望ましいと暗黙的に仮定している。 代わりに、推論効率は不確実性の軌跡によって支配されていることを示す。 下向きのエントロピー傾向が支配的なCoTは、かなり短い。 この知見に触発されて,限定的な局所探査を可能とし,進行不確実性低減を促す軌道認識目的であるエントロピートレンド・リワード(ETR)を提案する。 ETRをグループ相対政策最適化(GRPO)に統合し、複数の推論モデルと挑戦的なベンチマークで評価する。 ETRは一貫して精度と効率のトレードオフを達成し、DeepSeek-R1-Distill-7Bを9.9%改善し、4つのベンチマークでCoTの長さを67%削減した。 コードはhttps://github.com/Xuan1030/ETRで入手できる。

関連論文リスト

• Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
  大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。 本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
  論文  参考訳（メタデータ） (2026-02-27T20:23:59Z)
• WS-GRPO: Weakly-Supervised Group-Relative Policy Optimization for Rollout-Efficient Reasoning [67.45237332694025]
  グループ相対政策最適化は、複雑な推論に基づいて言語モデルを訓練するのに効果的である。 Weakly Supervised GRPOを提案し、端末報酬を正当性を考慮したガイダンスに変換することにより、ロールアウト効率を向上させる。
  論文  参考訳（メタデータ） (2026-02-19T02:43:35Z)
• Constraint-Rectified Training for Efficient Chain-of-Thought [60.52883907721588]
  CoT (Chain-of-Thought) は,Large Language Models (LLMs) の推論能力を大幅に向上させた。 より長い推論トレースは、自己訂正のような回答の品質とアンロック能力を改善することができるが、高い推論コストを発生させ、過度に考えることとして知られる冗長なステップをしばしば導入する。 近年の研究は、推論の長さと精度のバランスをとる効率的な推論戦略の開発を目指している。
  論文  参考訳（メタデータ） (2026-02-13T02:13:45Z)
• ENTRA: Entropy-Based Redundancy Avoidance in Large Language Model Reasoning [30.786062954495403]
  大規模な推論モデル(LRM)は、単純なタスクであっても必要以上に長い推論チェーンを生成するため、過度に考え直されることが多い。 本稿では,性能を保ちながら冗長な推論を抑制するエントロピーベースのトレーニングフレームワークであるENTRAを提案する。
  論文  参考訳（メタデータ） (2026-01-12T01:26:30Z)
• Retrieval-of-Thought: Efficient Reasoning via Reusing Thoughts [6.845529733164892]
  本稿では, 事前推論を構成可能な思考として再利用するRetrieval-of-Thought(RoT)を提案する。 RoTは、シーケンシャルかつセマンティックなエッジを持つ思考グラフにステップを整理し、高速な検索と柔軟な再結合を可能にする。 複数のモデルを用いた推論ベンチマークでRoTを評価し,精度,トークン使用率,レイテンシ,メモリオーバーヘッドを測定した。
  論文  参考訳（メタデータ） (2025-09-26T01:17:35Z)
• Reasoning Efficiently Through Adaptive Chain-of-Thought Compression: A Self-Optimizing Framework [10.148124073650349]
  Chain-of-Thought(CoT)推論はLarge Language Models(LLMs)を強化する より長いアウトプットは、レイテンシ、メモリ使用量、KV-cache要求を増加させる。 精度を保ちながらCOTを圧縮する適応型フレームワークSEER(Self-Enhancing Efficient Reasoning)を提案する。
  論文  参考訳（メタデータ） (2025-09-17T15:33:44Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
  提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• ShorterBetter: Guiding Reasoning Models to Find Optimal Inference Length for Efficient Reasoning [1.0416697066889342]
  そこで本研究では,手動による指導を必要とせずに,推論モデルによる最適なCoT長の学習を可能にする,簡易かつ効果的な強化学習手法を提案する。 ShorterBetterは、ドメイン内およびドメイン外推論タスクの出力長を50%-80%削減する。 我々の推論トレース分析は、不要な反復、過剰な自己検証、代替品の過剰探索を減らし、ショーターベッターが推論トレースの構造を洗練することを示している。
  論文  参考訳（メタデータ） (2025-04-30T07:04:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。