論文の概要: Reinforcement Learning for Chain of Thought Compression with One-Domain-to-All Generalization

• arxiv url: http://arxiv.org/abs/2601.06052v2
• Date: Wed, 21 Jan 2026 06:34:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.594278
• Title: Reinforcement Learning for Chain of Thought Compression with One-Domain-to-All Generalization
• Title（参考訳）: 1-Domain-to-All Generalizationによる思考圧縮の連鎖の強化学習
• Authors: Hanyu Li, Jiangshan Duo, Bofei Gao, Hailin Zhang, Sujian Li, Xiaotie Deng, Liang Zhao,
• Abstract要約: 大規模言語モデルにおけるチェーン・オブ・シント推論は、"過度な罠"を引き起こす可能性がある そこで本研究では,有能なサンプルレベルのソフト強化学習圧縮を提案する。 モデルがすでに問題を解決している場合にのみ、長時間のロールアウトをペナルティ化し、ロールアウトを短縮した。
• 参考スコア（独自算出の注目度）: 27.13234369037689
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-thought reasoning in large language models can trigger an "overthinking trap": longer rollouts raise cost and latency yet often yield unreliable accuracy gains. Existing methods use global, static controls that may suppress needed reasoning. We propose mastery-gated, sample-level, soft reinforcement learning compression that penalizes long rollouts only when the model already solves the problem and has produced a shorter rollout. Across benchmarks, it cuts response length by 20-40% with comparable or higher accuracy and generalizes across domains: a model trained on math spontaneously shortens unseen tasks (code, instruction following, general-knowledge QA) without hurting accuracy. We further show two-way transfer between non-agent CoT and tool-use agents: non-agent training reduces SWE-Bench Verified rounds by 13%, while compressing a thinking agent cuts SWE trajectories by 67% tokens and 52% rounds and shortens non-agent outputs by up to 44%. Compression is thus not cosmetic brevity, but an inherent computation policy -- what to keep, and what to forget.
• Abstract（参考訳）: 長いロールアウトはコストとレイテンシを上昇させるが、しばしば信頼性の低い精度向上をもたらす。 既存の方法はグローバルな静的制御を使い、必要な推論を抑える。 本稿では,モデルがすでに問題を解決している場合にのみ長いロールアウトをペナル化し,ロールアウトを短縮する,マスタゲート型,サンプルレベル,ソフト強化学習圧縮を提案する。 ベンチマーク全体では、応答長を同等または高い精度で20-40%削減し、ドメイン間で一般化する。数学で訓練されたモデルは、正確さを損なうことなく、自然に目に見えないタスク(コード、命令、一般的な知識QA)を短縮する。 非エージェント訓練はSWE-Bench検証ラウンドを13%削減し、思考エージェントはSWEトラジェクトリを67%のトークンと52%のラウンドで圧縮し、非エージェント出力を最大44%短縮する。 したがって、圧縮は化粧品の簡潔さではなく、固有の計算ポリシー -- 維持すべきもの、忘れるべきもの -- である。

関連論文リスト

• Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
  教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。 提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。 より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-01-06T12:31:51Z)
• TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
  TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。 報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
  論文  参考訳（メタデータ） (2025-11-07T16:08:34Z)
• DLER: Doing Length pEnalty Right - Incentivizing More Intelligence per Token via Reinforcement Learning [134.03095505580276]
  Doing Length pEnalty Right (DLER)は、バッチワイド報酬正規化、高いクリッピング、ダイナミックサンプリング、単純なトランケーション長ペナルティを組み合わせたトレーニングレシピである。 DLERは最先端の精度-効率のトレードオフを実現し、出力長を70%以上削減し、以前のベースライン精度をすべて上回っている。
  論文  参考訳（メタデータ） (2025-10-16T20:05:57Z)
• Your Models Have Thought Enough: Training Large Reasoning Models to Stop Overthinking [50.97239453902612]
  大規模推論モデル(LRM)は、困難なタスクにおいて顕著なパフォーマンスを達成したが、その深い推論はしばしばかなりの計算コストを発生させる。 Evidence Accumulation Modelsにインスパイアされて、LEMは推論の初期段階で十分な情報を蓄積し、さらなる推論ステップを冗長にすることがわかった。 不要な推論を積極的に終了させるためにモデルを訓練するJust-Enough Thinking (JET)を提案する。
  論文  参考訳（メタデータ） (2025-09-27T16:25:06Z)
• Reasoning Efficiently Through Adaptive Chain-of-Thought Compression: A Self-Optimizing Framework [10.148124073650349]
  Chain-of-Thought(CoT)推論はLarge Language Models(LLMs)を強化する より長いアウトプットは、レイテンシ、メモリ使用量、KV-cache要求を増加させる。 精度を保ちながらCOTを圧縮する適応型フレームワークSEER(Self-Enhancing Efficient Reasoning)を提案する。
  論文  参考訳（メタデータ） (2025-09-17T15:33:44Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• Answer Convergence as a Signal for Early Stopping in Reasoning [7.51755942515969]
  大型言語モデル(LLM)における思考の連鎖(CoT)の促進 提案手法は,(1)応答整合性による早期停止,(2)終末信号発生確率の向上,(3)内部アクティベーションに基づいていつ停止するかを学習する教師付き手法である。
  論文  参考訳（メタデータ） (2025-06-03T07:20:54Z)
• VeriThinker: Learning to Verify Makes Reasoning Model Efficient [52.74493506816969]
  大型推論モデルは、Chain-of-Thought (CoT)推論を用いて複雑なタスクで優れている。 過度に考える傾向は、必然的に長い推論連鎖に繋がる。 我々は,CoT圧縮の新しい手法であるVeriThinkerを紹介する。
  論文  参考訳（メタデータ） (2025-05-23T14:17:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。