論文の概要: Controlling Sharpening in LLM Post-Training

• arxiv url: http://arxiv.org/abs/2611.03146v1
• Date: Mon, 02 Nov 2026 13:54:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 13:02:25.772599
• Title: Controlling Sharpening in LLM Post-Training
• Title（参考訳）: LLM後処理におけるシャープニング制御
• Abstract要約: クローズド形式の$mathrmpass@k$と$mathrmmax@k$の最適ポリシーを導出する。 我々の明示的な解決策は、$mathrm@k$最適化が学習の難易度に基づいて自然に学習の圧力を再分配することを示している。 標準的な$mathrm@1$の目的は、プロンプト適応正規化や報酬変換を通じて、これらの全く同じ最適なポリシーを達成することを示す。
• 参考スコア（独自算出の注目度）: 56.38869418078016
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM post-training via reinforcement learning has shown consistent improvements in accuracy at the cost of reducing behavioral coverage - a phenomenon known as sharpening that can stall progress on difficult tasks. Repeated sampling objectives such as $\mathrm{pass@k}$ and $\mathrm{max@k}$ are known to mitigate sharpening, but the mechanism behind it remains poorly understood. Moreover, existing approaches for $\mathrm{@k}$ optimization use dedicated algorithms, and no general framework exists for adapting established policy optimization methods from $\mathrm{@}1$ to $\mathrm{@k}$. We derive the optimal policies for KL-regularized $\mathrm{pass@k}$ and $\mathrm{max@k}$ objectives in closed form. Our explicit solutions reveal that $\mathrm{@k}$ optimization naturally redistributes learning pressure based on prompt difficulty, directing it toward harder problems. Crucially, we show that standard $\mathrm{@}1$ objectives achieve these exact same optimal policies through prompt-adaptive regularization or reward transformation. Ultimately, this yields an optimizer-independent explanation for why $\mathrm{@k}$ objectives reduce sharpening on easy tasks while prioritizing success on harder ones. Building on these insights, we introduce $\mathrm{@k}$ Adaptive Pressure for Policy Optimization (KAPPO). Following a one-time reference calibration, KAPPO seamlessly adapts existing $\mathrm{@}1$ methods to $\mathrm{@k}$ via prompt-adaptive regularization or reward transformation, without otherwise altering their training procedures. Experiments with several RL methods on mathematical reasoning and code generation demonstrate that KAPPO provides direct control over sharpening. Crucially, we demonstrate that $\mathrm{@k}$ pressure can be fully realized with single completion training, matching the performance of multi-completion $\mathrm{@k}$ optimizers at a fraction of the cost.
• Abstract（参考訳）: 強化学習によるLLMポストトレーニングでは、行動カバレッジを減らすコストで精度が一貫した改善がなされている。 $\mathrm{pass@k}$ や $\mathrm{max@k}$ のような反復的なサンプリング目的は、シャープニングを緩和することが知られているが、そのメカニズムは未だ理解されていない。 さらに、$\mathrm{@k}$の既存のアプローチでは専用アルゴリズムを使用し、$\mathrm{@}1$から$\mathrm{@k}$への確立されたポリシー最適化メソッドを適用するための一般的なフレームワークは存在しない。 KL-正規化 $\mathrm{pass@k}$ および $\mathrm{max@k}$ 目的を閉形式で導出する。 我々の明示的な解決策は、$\mathrm{@k}$ 最適化が学習の困難さに基づいて自然に学習の圧力を再分配し、難しい問題へと誘導することを明らかにする。 重要なことに、標準的な$\mathrm{@}1$の目的は、プロンプト適応正規化や報酬変換を通じて、これらの全く同じ最適ポリシーを達成する。 最終的にこれは、$\mathrm{@k}$の目的が簡単なタスクのシャープ化を減らし、難しいタスクの成功を優先する理由について、オプティマイザに依存しない説明をもたらす。 これらの知見に基づいて、政策最適化のための適応圧力(KAPPO)を$\mathrm{@k}$導入する。 1回の参照キャリブレーションの後、KAPPOは既存の$\mathrm{@}1$メソッドをプロンプト適応正規化や報酬変換を通じて、トレーニング手順を変更することなく、シームレスに$\mathrm{@k}$に適合させる。 数理的推論とコード生成に関するいくつかのRL手法の実験により、KAPPOがシャープニングを直接制御できることが示されている。 重要なことは、$\mathrm{@k}$ プレッシャーが単一完了トレーニングで完全に実現できることを示し、そのコストのごく一部でマルチコンプリート$\mathrm{@k}$ オプティマイザのパフォーマンスを一致させることである。

関連論文リスト

• Learning Positive Linear Combinations of ReLUs in Fully Polynomial Time [56.773730898972225]
  この学習課題に対して,最初の完全多項式時間アルゴリズムを提案する。 我々のアルゴリズムは、$mathrmpoly(d, k, 1/)$サンプルを描画し、$mathrmpoly(d, k, 1/)$タイムで実行し、高い確率でターゲット概念に$-closeの仮説を出力する。
  論文  参考訳（メタデータ） (2026-10-23T17:34:15Z)
• $β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation [85.07190808882523]
  オンライン自己蒸留は推論言語モデルを改善するための有望なアプローチである。 我々は,$-OPSDがバニラOPSDを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-07-30T17:41:16Z)
• Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
  フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
  論文  参考訳（メタデータ） (2025-02-19T07:10:32Z)
• Near-Optimal Online Learning for Multi-Agent Submodular Coordination: Tight Approximation and Communication Efficiency [52.60557300927007]
  離散部分モジュラー問題を連続的に最適化するために,$textbfMA-OSMA$アルゴリズムを提案する。 また、一様分布を混合することによりKLの発散を効果的に活用する、プロジェクションフリーな$textbfMA-OSEA$アルゴリズムも導入する。 我々のアルゴリズムは最先端OSGアルゴリズムによって提供される$(frac11+c)$-approximationを大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-07T15:57:56Z)
• Learning to Solve the Constrained Most Probable Explanation Task in Probabilistic Graphical Models [10.603378323312809]
  我々は、制約された最も予測可能な説明(CMPE)問題に対して、ほぼ最適解を出力することを学ぶディープニューラルネットワークを訓練する。 提案手法の特性を解析し,その有効性をいくつかのベンチマーク問題で実験的に実証する。
  論文  参考訳（メタデータ） (2024-04-17T17:55:17Z)
• Oblivious Stochastic Composite Optimization [47.48197617884748]
  我々のアルゴリズムは問題のパラメータに関する事前の知識なしで収束することを示す。 3つのアルゴリズムは全て、実現可能な集合の直径、リプシッツ定数、あるいは目的関数の滑らかさについて事前の知識なしに機能する。 我々は,フレームワークを比較的大規模に拡張し,大規模半確定プログラム上での手法の効率性と堅牢性を実証する。
  論文  参考訳（メタデータ） (2023-06-30T08:34:29Z)
• Enhanced Adaptive Gradient Algorithms for Nonconvex-PL Minimax Optimization [41.28002701420715]
  ミニマックス最適化は多くの機械学習タスクに広く応用されている。 我々は,本手法が特定の型に依存することなく,最もよく知られたサンプル複雑性を有することを示す。
  論文  参考訳（メタデータ） (2023-03-07T15:33:12Z)
• Variance-reduced Clipping for Non-convex Optimization [24.765794811146144]
  グラディエント・クリッピング(Gradient clipping)は、大規模言語モデリングのようなディープラーニングアプリケーションで用いられる技法である。 最近の実験的な訓練は、秩序の複雑さを緩和する、非常に特別な振る舞いを持っている。
  論文  参考訳（メタデータ） (2023-03-02T00:57:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。