論文の概要: Think Dense, Not Long: Dynamic Decoupled Conditional Advantage for Efficient Reasoning

• arxiv url: http://arxiv.org/abs/2602.02099v1
• Date: Mon, 02 Feb 2026 13:43:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.175036
• Title: Think Dense, Not Long: Dynamic Decoupled Conditional Advantage for Efficient Reasoning
• Title（参考訳）: 考える、長くない:効率的な推論のための動的デカップリング条件付きアドバンテージ
• Authors: Keqin Peng, Yuanxin Ouyang, Xuebo Liu, Zhiliang Tian, Ruijian Han, Yancheng Yuan, Liang Ding,
• Abstract要約: 本稿では、効率最適化を正当性から切り離すための動的デカップリングアドバンテージ(DDCA)を提案する。 GSM8K, MATH500, AMC23, AIME25 の実験では,DDCA は適応ベースラインに対する効率-精度トレードオフを一貫して改善している。
• 参考スコア（独自算出の注目度）: 32.70499084074494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) can elicit strong multi-step reasoning, yet it often encourages overly verbose traces. Moreover, naive length penalties in group-relative optimization can severely hurt accuracy. We attribute this failure to two structural issues: (i) Dilution of Length Baseline, where incorrect responses (with zero length reward) depress the group baseline and over-penalize correct solutions; and (ii) Difficulty-Penalty Mismatch, where a static penalty cannot adapt to problem difficulty, suppressing necessary reasoning on hard instances while leaving redundancy on easy ones. We propose Dynamic Decoupled Conditional Advantage (DDCA) to decouple efficiency optimization from correctness. DDCA computes length advantages conditionally within the correct-response cluster to eliminate baseline dilution, and dynamically scales the penalty strength using the group pass rate as a proxy for difficulty. Experiments on GSM8K, MATH500, AMC23, and AIME25 show that DDCA consistently improves the efficiency--accuracy trade-off relative to adaptive baselines, reducing generated tokens by approximately 60% on simpler tasks (e.g., GSM8K) versus over 20% on harder benchmarks (e.g., AIME25), thereby maintaining or improving accuracy. Code is available at https://github.com/alphadl/DDCA.
• Abstract（参考訳）: Reinforcement Learning with Verifiable Rewards (RLVR)は、強い多段階推論を引き出すことができるが、しばしば冗長なトレースを奨励する。 さらに、グループ相対最適化におけるナイーブな長さのペナルティは、精度を著しく損なう可能性がある。 この失敗は2つの構造上の問題に起因する。 一 長さベースラインの希釈であって、不正確な応答(長さの報酬がゼロ)が群ベースラインを減らし、正しい解を過給するものであること。 (二)静的ペナルティが問題に適応できず、難易度を残しながら難易度を抑える難易度ミスマッチ。 本稿では、効率最適化を正当性から切り離すための動的分離条件付きアドバンテージ(DDCA)を提案する。 DDCAは、基準線希釈をなくすために、正応答クラスタ内で条件付き長みの利点を計算し、難易度を代用としてグループパスレートを用いて動的にペナルティ強度をスケールする。 GSM8K、MATH500、AMC23、AIME25の実験では、DDCAは適応ベースラインに対する効率-精度トレードオフを一貫して改善し、より単純なタスク(例えば、GSM8K)では約60%、より難しいベンチマーク(例えば、AIME25)では20%以上削減し、精度を維持または改善している。 コードはhttps://github.com/alphadl/DDCAで入手できる。

関連論文リスト

• Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
  教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。 提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。 より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-01-06T12:31:51Z)
• DART: Difficulty-Adaptive Reasoning Truncation for Efficient Large Language Models [36.962276192354174]
  textbfDARTは、問題の難易度に応じて思考長を調整する。 textbfTruncationフレームワークは、いつ考えるのをやめるかを学ぶ
  論文  参考訳（メタデータ） (2025-11-03T02:41:20Z)
• DTS: Enhancing Large Reasoning Models via Decoding Tree Sketching [54.98126916293868]
  大規模推論モデル(LRMs)は、精度を低下させる、非常に長い連鎖のトレースを生成する。 本稿では,高エントロピートークンを分岐することで推論空間をスケッチするモデル非依存デコーディングフレームワークを提案する。 このアプローチは、追加のトレーニングや監督を必要とせず、効率と正確性を両立させる最適解を近似する。
  論文  参考訳（メタデータ） (2025-11-01T17:41:28Z)
• DLER: Doing Length pEnalty Right - Incentivizing More Intelligence per Token via Reinforcement Learning [134.03095505580276]
  Doing Length pEnalty Right (DLER)は、バッチワイド報酬正規化、高いクリッピング、ダイナミックサンプリング、単純なトランケーション長ペナルティを組み合わせたトレーニングレシピである。 DLERは最先端の精度-効率のトレードオフを実現し、出力長を70%以上削減し、以前のベースライン精度をすべて上回っている。
  論文  参考訳（メタデータ） (2025-10-16T20:05:57Z)
• Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression [68.69801176669843]
  本稿では,冗長なステップを誘発し,難易度を推定するオンラインポストトレーニングRL手法を提案する。 TRAAC(Think Right with Adaptive, Attentive Compression)は、絶対精度が平均8.4%向上する。 我々のモデルは数学データセットに基づいて訓練されているが、分布外データセットの精度と効率性を示す。
  論文  参考訳（メタデータ） (2025-10-02T02:00:20Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Reasoning Efficiently Through Adaptive Chain-of-Thought Compression: A Self-Optimizing Framework [10.148124073650349]
  Chain-of-Thought(CoT)推論はLarge Language Models(LLMs)を強化する より長いアウトプットは、レイテンシ、メモリ使用量、KV-cache要求を増加させる。 精度を保ちながらCOTを圧縮する適応型フレームワークSEER(Self-Enhancing Efficient Reasoning)を提案する。
  論文  参考訳（メタデータ） (2025-09-17T15:33:44Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Fast on the Easy, Deep on the Hard: Efficient Reasoning via Powered Length Penalty [13.843606627539597]
  本研究では,より単純な問題に対して簡潔性を促進することにより,大規模言語モデル(LLM)の効率を向上させることを目的とする。 我々は、報酬関数を分割し、出力長の新しいペナルティを含むことにより、モデルの推論効率を管理する。 提案手法はGSM8K, MATH500, AIME2024という3つのデータセットのベンチマーク評価において顕著な結果を得た。
  論文  参考訳（メタデータ） (2025-06-12T07:49:24Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。