論文の概要: HMPO: Hybrid Median-length Policy Optimization for Chain-of-Thought Compression
- arxiv url: http://arxiv.org/abs/2606.01934v1
- Date: Mon, 01 Jun 2026 09:01:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:31.671532
- Title: HMPO: Hybrid Median-length Policy Optimization for Chain-of-Thought Compression
- Title(参考訳): HMPO:階層圧縮のためのハイブリッドメディア長ポリシー最適化
- Abstract要約: HMPOはコスト効率のよい単段強化学習フレームワークである。
数学、コード、科学、および命令追従タスクをシームレスに一般化する。
19%~46%のトークン圧縮を実現し、精度は無視できる。
- 参考スコア(独自算出の注目度): 32.10638394568435
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models achieve remarkable performance via extended chain-of-thought (CoT) reasoning, yet this lengthy process incurs substantial inference overhead. Existing CoT compression methods struggle with inflexible manual length budgets, computationally expensive multi-stage training pipelines, and fragile scalability restricted to small models. We propose HMPO (Hybrid Median-length Policy Optimization), a cost-effective, single-stage reinforcement learning framework. HMPO efficiently compresses CoT via three synergistic components: an adaptive median-based budget derived from successful rollouts to eliminate manual tuning, a cosine-decay token reward for smooth length penalization, and a multiplicative reward formulation that substantially mitigates trivial reward hacking by strictly prioritizing answer correctness. Trained exclusively on mathematical data, HMPO generalizes seamlessly across math, code, science, and instruction-following tasks. Extensive experiments scaling from 9B to 122B parameters across dense and Mixture-of-Experts (MoE) architectures demonstrate that HMPO achieves 19%--46% token compression with negligible accuracy degradation, all while drastically reducing training costs compared to existing multi-stage baselines.
- Abstract(参考訳): 大規模言語モデルは、拡張チェーン・オブ・ソート(CoT)推論によって顕著な性能を達成するが、この長いプロセスはかなりの推論オーバーヘッドを引き起こす。
既存のCOT圧縮手法は、柔軟性のない手動長の予算、計算コストのかかる多段訓練パイプライン、小さなモデルに制限された脆弱なスケーラビリティに悩まされている。
本稿では,HMPO(Hybrid Median-length Policy Optimization)を提案する。
HMPOは、3つの相乗的コンポーネントを通してCoTを効率よく圧縮する:手動チューニングをなくすためにロールアウトを成功させる適応型中央値ベースの予算、スムーズな長さのペナル化のためのコサイン・デカイトークン報酬、そして答えの正しさを厳密に優先順位付けすることで自明な報酬ハックを実質的に軽減する乗法的な報酬定式化である。
HMPOは数学的データのみに訓練され、数学、コード、科学、命令追従タスクをシームレスに一般化する。
9B から 122B のパラメータを高密度および混合スペクトル (MoE) アーキテクチャで拡張した結果,HMPO は 19%--46% のトークン圧縮を達成でき,精度の劣化は無視できるが,既存のマルチステージベースラインと比較してトレーニングコストを大幅に削減できることがわかった。
関連論文リスト
- MCPO: Modality-Contrastive Preference Optimization for Multimodal Chain-of-Thought Compression [40.580984703096945]
そこで本研究では,900点未満のトレーニングサンプルを必要とする2段階長圧縮法を提案する。
圧縮段階では、ステップレベルの正規化相互情報プルーニングアルゴリズムを導入する。
アライメント段階では、非対称なマルチモーダル長制御された選好損失を用いる。
実験の結果,CoT長を最大69.5%削減し,最大3.34倍の高速化を実現できることがわかった。
論文 参考訳(メタデータ) (2026-09-04T09:54:53Z) - ExpThink: Experience-Guided Reinforcement Learning for Adaptive Chain-of-Thought Compression [14.830831997228657]
大きな推論モデル(LRM)は、拡張チェーン・オブ・シークレット(CoT)推論を通じて高いパフォーマンスを達成するが、過度のトークン消費と高い推論遅延に悩まされる。
両次元を2つの相補的な機構で処理するRLフレームワークである textbfExpThinkxspace を提案する。
複数の数学的推論ベンチマークの実験により、textbfExpThinkxspaceは平均応答長を最大77%削減し、同時に精度を向上することを示した。
論文 参考訳(メタデータ) (2026-05-08T09:37:30Z) - Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる
既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。
本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-09T06:57:15Z) - Gradually Compacting Large Language Models for Reasoning Like a Boiling Frog [72.4168434368873]
大きな言語モデル(LLM)は印象的な推論能力を示しているが、その相当なサイズは、しばしばかなりの計算資源を必要とする。
圧縮過程を細かな繰り返しに分割する段階的圧縮法を提案する。
この「沸騰するカエル」効果の反復的なアプローチは、急激な性能損失を伴わずに、モデルを段階的に圧縮することができる。
論文 参考訳(メタデータ) (2026-02-04T06:56:52Z) - Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。
TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
論文 参考訳(メタデータ) (2025-12-10T01:54:57Z) - PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。
PT$2$-LLMを提案する。
その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文 参考訳(メタデータ) (2025-09-27T03:01:48Z) - From Long to Lean: Performance-aware and Adaptive Chain-of-Thought Compression via Multi-round Refinement [21.015658035494514]
CoT(Chain-of-Thought)推論は複雑なタスクのパフォーマンスを改善するが、冗長性による遅延が大幅に増加する。
マルチラウンド適応チェイン・オブ・ソート圧縮(MACC)を提案する。
本手法は,最先端のベースラインに対して平均5.6%の精度向上を実現する。
論文 参考訳(メタデータ) (2025-09-26T10:02:48Z) - Training Long-Context LLMs Efficiently via Chunk-wise Optimization [60.05884946552877]
textitSequential Chunk-wise Optimization (SeCO) は、長い入力を管理可能なチャンクに分割するメモリ効率の訓練パラダイムである。
textitSparse Chunk-wise Optimization (SpaCO)を導入し、特定のチャンクへの勾配を選択的に伝播することで計算オーバーヘッドを削減する。
SpaCOは、コンテキスト長からバックプロパゲーションの計算コストを分離し、シーケンスが長くなるにつれて、トレーニング時間が徐々に推論時間に収束することを可能にする。
論文 参考訳(メタデータ) (2025-05-22T14:11:34Z) - Fractured Chain-of-Thought Reasoning [61.647243580650446]
完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。
フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
論文 参考訳(メタデータ) (2025-05-19T11:30:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。