論文の概要: SLAT: Segment-Level Adaptive Trimming for Efficient CoT Reasoning
- arxiv url: http://arxiv.org/abs/2605.30832v1
- Date: Fri, 29 May 2026 04:37:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.387678
- Title: SLAT: Segment-Level Adaptive Trimming for Efficient CoT Reasoning
- Title（参考訳）: SLAT: 効率的なCoT推論のためのセグメントレベル適応トリミング
- Abstract要約: 冗長セグメントを選択的に抑制するRLフレームワークであるtextscSLAT(Segment-Level Adaptive Trimming)を提案する。
実験の結果,textscSLATは精度・効率のフロンティアとして優れており,推論長を50%削減できることがわかった。
以上の結果から,理論上はセグメンテーションを意識したトリミングが,大規模言語モデルにおける効率的なCoT推論に有望な方向であることが示唆された。
- 参考スコア（独自算出の注目度）: 26.883032881561423
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in Large Reasoning Models have significantly improved chain-of-thought (CoT) capabilities via reinforcement learning (RL). However, generated reasoning chains frequently suffer from structural redundancy (i.e., \emph{overthinking}), incurring high computational overhead without improving answer correctness. Existing mitigation strategies typically rely on token-uniform length penalties, which provide coarse, segment-agnostic pressure toward shorter outputs and can inadvertently suppress useful reasoning alongside redundancy. To address this, we demonstrate that inefficiency concentrates in high-probability segments with low marginal utility. We derive a theoretical characterization of segment suboptimality under the correctness-length trade-off objective and propose \textsc{SLAT} (Segment-Level Adaptive Trimming), an RL framework that selectively suppresses redundant segments based on this criterion. Empirical results on standard benchmarks indicate that \textsc{SLAT} establishes a superior accuracy-efficiency Pareto frontier, reducing reasoning length by $50\%$ relative to uncompressed baselines while maintaining competitive accuracy. Overall, our results suggest that theoretically grounded, segment-aware trimming is a promising direction for efficient CoT reasoning in large language models.
- Abstract（参考訳）: 大規模推論モデルの最近の進歩は、強化学習(RL)によるチェーン・オブ・シント(CoT)能力を大幅に改善した。
しかし、生成された推論連鎖は、しばしば構造的冗長性(すなわち \emph{overthinking})に悩まされ、解の正しさを改善することなく高い計算オーバーヘッドを引き起こす。
既存の緩和戦略は、通常トークン一様長さのペナルティに依存しており、より短い出力に対して粗い、セグメントに依存しない圧力を与え、冗長性と共に有用な推論を不注意に抑制することができる。
この問題に対処するために、非効率が低限界効用を有する高確率セグメントに集中していることを示す。
この基準に基づいて冗長セグメントを選択的に抑制する RL フレームワークである \textsc{SLAT} (Segment-Level Adaptive Trimming) を提案する。
標準ベンチマークにおける実験結果から, <textsc{SLAT} はより優れた精度・効率のParetoフロンティアを確立し,非圧縮ベースラインに対する推論長を50\%削減し,競争精度を維持したことが示唆された。
以上の結果から,理論上はセグメンテーションを意識したトリミングが,大規模言語モデルにおける効率的なCoT推論に有望な方向であることが示唆された。
関連論文リスト
- ChainPrune: Evaluating and Reducing Redundancy in Long Chain-of-Thought Reasoning [48.3829293800053]
そこで我々は,新しい推論経路意味構造最適化法ChainPruneを提案する。
我々は,自己生成的推論経路を木構造に集約し,その後に複数基準の優越的経路選択プロセスを行う。
我々は、DPOに基づく選好学習手法と教師付き損失を併用し、効果的に偽報酬抑制を緩和する。
論文 参考訳（メタデータ） (2026-08-22T09:09:05Z) - ThoughtFold: Folding Reasoning Chains via Introspective Preference Learning [69.64972562984882]
提案するThoughtFoldは,よりきめ細かい選好学習を,効率的な推論のための冗長探索に活用するフレームワークである。
ThoughtFoldは効率を大幅に向上させる。
最先端の精度を維持しつつ、DeepSeek-R1-Distill-Qwen-7Bのトークン使用量を約56%削減する。
論文 参考訳（メタデータ） (2026-06-02T11:21:27Z) - Selective Latent Thinking: Adaptive Compression of LLM Reasoning Chains [9.979461886634022]
CoT (Explicit chain-of- Thought) 推論は、大規模言語モデルの推論能力を大幅に向上させる。
既存の潜在的推論法は、推論を一様圧縮可能であるとして扱い、精度クリティカルな中間段階を過度に圧縮する。
SLT(Selective Latent Thinking)は、冗長な推論スパンを潜在表現に選択的に圧縮するフレームワークである。
論文 参考訳（メタデータ） (2026-05-25T11:57:09Z) - Stabilizing Efficient Reasoning with Step-Level Advantage Selection [54.563811052329235]
我々は,長さを意識しない標準のGRPOを用いて,短文のポストトレーニング単独で,すでにかなりの推理圧縮を誘導していることを示す。
そこで本稿では, 適切なロールアウトにおける低信頼度ステップと, 検証済みロールアウトにおける高信頼度ステップにゼロアドバンテージを割り当てるステップレベルアドバンテージ選択(SAS)を提案する。
論文 参考訳（メタデータ） (2026-04-27T03:34:59Z) - Constraint-Rectified Training for Efficient Chain-of-Thought [60.52883907721588]
CoT (Chain-of-Thought) は,Large Language Models (LLMs) の推論能力を大幅に向上させた。
より長い推論トレースは、自己訂正のような回答の品質とアンロック能力を改善することができるが、高い推論コストを発生させ、過度に考えることとして知られる冗長なステップをしばしば導入する。
近年の研究は、推論の長さと精度のバランスをとる効率的な推論戦略の開発を目指している。
論文 参考訳（メタデータ） (2026-02-13T02:13:45Z) - Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる
既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。
本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-09T06:57:15Z) - Short Chains, Deep Thoughts: Balancing Reasoning Efficiency and Intra-Segment Capability via Split-Merge Optimization [68.89915707647138]
大規模推論モデル(LRM)は、長い推論連鎖の生成を通じて複雑なタスクを解く際、印象的な能力を示した。
textbfCoSMo(textbfSplit-textbfMerge textbfOptimization)を提案する。
論文 参考訳（メタデータ） (2026-02-03T05:54:28Z) - ENTRA: Entropy-Based Redundancy Avoidance in Large Language Model Reasoning [30.786062954495403]
大規模な推論モデル(LRM)は、単純なタスクであっても必要以上に長い推論チェーンを生成するため、過度に考え直されることが多い。
本稿では,性能を保ちながら冗長な推論を抑制するエントロピーベースのトレーニングフレームワークであるENTRAを提案する。
論文 参考訳（メタデータ） (2026-01-12T01:26:30Z) - False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。
SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
論文 参考訳（メタデータ） (2021-10-24T15:34:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。