論文の概要: Think Less, Locally: Local Preference Learning for Reasoning Compression

• arxiv url: http://arxiv.org/abs/2611.04814v1
• Date: Tue, 03 Nov 2026 12:44:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-09 13:18:11.327192
• Title: Think Less, Locally: Local Preference Learning for Reasoning Compression
• Title（参考訳）: 局所的に考える: 推論圧縮のための局所的選好学習
• Abstract要約: 圧縮推論のための局所的な選好学習手法であるLoCoを提案する。 LoCoはモデル自身のトレースから候補過剰な状態を検出し、対応する推論プレフィックスを凍結し、同じ状態からより短い検証された継続を再生し、DPOと結果の条件付き嗜好ペアをトレーニングする。 LoCoは数学の精度と効率のトレードオフを一貫して改善し、数学のみの訓練にもかかわらずコード生成に効果的に移行する。
• 参考スコア（独自算出の注目度）: 30.494832046232037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large reasoning models achieve strong performance on challenging tasks, but their long chain-of-thought often incurs substantial inference costs by continuing to deliberate after sufficient information has been obtained. Existing reasoning compression methods primarily operate on reasoning trajectories, paying less attention to the local decision of whether further reasoning is necessary given the current state. We propose LoCo, a local preference learning method for reasoning compression. LoCo detects candidate overthinking states from the model's own traces, freezes the corresponding reasoning prefixes, regenerates shorter verified continuations from the same states, and trains on the resulting state-conditioned preference pairs with DPO. This formulation teaches the model when to continue reasoning and when to conclude, rather than simply encouraging shorter trajectories overall. We construct training data entirely from self-generated mathematical traces and evaluate LoCo on five mathematical and three code generation benchmarks. LoCo reduces completion length by 41.7\%--45.4\% on mathematics and 23.4\%--36.3\% on code, while maintaining or improving accuracy and achieving the best AUC across all code benchmarks. LoCo consistently improves the accuracy-efficiency trade-off on mathematics and transfers effectively to code generation despite math-only training, demonstrating the cross-domain generality of local preference learning for reasoning compression. The code and model will be publicly released at https://github.com/MuyaoYuan/LoCo.
• Abstract（参考訳）: 大規模な推論モデルは、困難なタスクにおいて強力なパフォーマンスを達成するが、その長い連鎖は十分な情報が得られて以降も意図的に推測し続け、かなりの推論コストを発生させることが多い。 既存の推理圧縮法は、主に軌道の推理を行い、現在の状態からさらなる推理が必要であるかどうかという局所的な決定に注意を払わない。 圧縮推論のための局所的な選好学習手法であるLoCoを提案する。 LoCoはモデル自身のトレースから候補過剰な状態を検出し、対応する推論プレフィックスを凍結し、同じ状態からより短い検証された継続を再生し、DPOと結果の条件付き嗜好ペアをトレーニングする。 この定式化は、単に全体的に短い軌道を奨励するのではなく、推論を継続する時期と結論をモデルに教える。 自己生成された数学的トレースから完全にトレーニングデータを構築し、5つの数学的および3つのコード生成ベンチマーク上でLoCoを評価する。 LoCoは完成期間を数学で41.7\%-45.4\%、コードで23.4\%-36.3\%に短縮し、精度を維持または改善し、全てのコードベンチマークで最高のAUCを達成する。 LoCoは数学の精度と効率のトレードオフを一貫して改善し、数学のみの訓練にもかかわらずコード生成に効果的に移行し、推論圧縮のための局所的な嗜好学習のクロスドメインな一般化を実証している。 コードとモデルはhttps://github.com/MuyaoYuan/LoCo.comで公開される。

関連論文リスト

• What Matters for Latent Reasoning with Flow Matching [52.62368406036621]
  潜在推論により、大きな言語モデルは連続した空間で考え、答えのみを言葉で表すことができる。 有効な潜伏思想は5つの要件を満たす必要があると我々は主張する。 FLaReは、潜伏空間がエンコードしたものと、それをどのように形成するか、フローのトレーニング場所、答えの読み方、そしてモデル自身の検証された思考に関する最終段階を含む単純なレシピである。
  論文  参考訳（メタデータ） (2026-10-05T16:42:40Z)
• What Really Improves Mathematical Reasoning: Structured Reasoning Signals Beyond Pure Code [72.9921566968371]
  ドメイン分離のきめ細かい10T-tokenコーパスにおける事前学習の制御実験により,コードが推論を改善するという主張を再考する。 コードはプログラミング能力を大幅に改善するが、一般的な推論エンハンサーとして機能しない。 コード-テキストと数学-テキストの混合のようなドメイン間構造的推論トレースがよりうまく説明されている。
  論文  参考訳（メタデータ） (2026-05-19T12:37:01Z)
• Your Models Have Thought Enough: Training Large Reasoning Models to Stop Overthinking [50.97239453902612]
  大規模推論モデル(LRM)は、困難なタスクにおいて顕著なパフォーマンスを達成したが、その深い推論はしばしばかなりの計算コストを発生させる。 Evidence Accumulation Modelsにインスパイアされて、LEMは推論の初期段階で十分な情報を蓄積し、さらなる推論ステップを冗長にすることがわかった。 不要な推論を積極的に終了させるためにモデルを訓練するJust-Enough Thinking (JET)を提案する。
  論文  参考訳（メタデータ） (2025-09-27T16:25:06Z)
• Pruning the Unsurprising: Efficient Code Reasoning via First-Token Surprisal [13.035073453917088]
  大規模推論モデル(LRM)は、Chain-of-Thought(CoT)の長さをスケールアップすることによって、コード推論において顕著な能力を示した。 我々は,CoT圧縮のための新しい粗大なフレームワークであるASAP(Anchor-guided, Surprisal-based Pruning)を提案する。 ASAPは、トレーニングと推論コストを大幅に削減しつつ、複数のコード生成ベンチマークで最先端の精度を実現している。
  論文  参考訳（メタデータ） (2025-08-08T03:46:21Z)
• Answer Convergence as a Signal for Early Stopping in Reasoning [7.51755942515969]
  大型言語モデル(LLM)における思考の連鎖(CoT)の促進 提案手法は,(1)応答整合性による早期停止,(2)終末信号発生確率の向上,(3)内部アクティベーションに基づいていつ停止するかを学習する教師付き手法である。
  論文  参考訳（メタデータ） (2025-06-03T07:20:54Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。