論文の概要: On the Convergence of Self-Improving Online LLM Alignment
- arxiv url: http://arxiv.org/abs/2606.31524v1
- Date: Tue, 30 Jun 2026 11:36:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.203006
- Title: On the Convergence of Self-Improving Online LLM Alignment
- Title（参考訳）: 自己改善型オンラインLCMアライメントの収束性について
- Abstract要約: 自己改善アライメント(SAIL)アルゴリズムは、問題のバイレベル定式化を効率的な単一レベル法に還元することで、分散シフトに対処する。
標準SAILの目的関数は、ヘッセンの好ましくない性質のため、強く凹むことが保証されない。
最適化環境を改善するためにKL(Kulback-Leibler)分散ペナルティを組み込んだ正規化目的SAIL-RevKLを提案する。
- 参考スコア（独自算出の注目度）: 43.459219750746115
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Self-Improving Alignment (SAIL) algorithm addresses distribution shift by reducing a bilevel formulation of the problem to an efficient, single-level method. Empirically, SAIL has demonstrated strong performance on this task. However, a formal analysis of its convergence properties has been lacking. We identify a key theoretical challenge: the standard SAIL objective function is not guaranteed to be strongly concave due to unfavorable properties of its Hessian. To address this limitation, we propose a regularized objective, SAIL-RevKL, which incorporates a reverse Kullback-Leibler (KL) divergence penalty to improve the optimization landscape. Our central theoretical contribution is to prove that this regularized objective satisfies the Polyak-Lojasiewicz (PL) condition within a bounded parameter space. We establish global convergence guarantees, achieving a near-linear sample complexity. We further validate the effectiveness and stability of SAIL-RevKL through empirical evaluations, demonstrating that it outperforms the vanilla SAIL on both MuJoCo benchmarks and LLM alignment tasks.
- Abstract（参考訳）: 自己改善アライメント(SAIL)アルゴリズムは、問題のバイレベル定式化を効率的な単一レベル法に還元することで、分散シフトに対処する。
経験的に、SAILは、このタスクに強いパフォーマンスを示しています。
しかし、その収束性に関する公式な分析は欠如している。
標準SAILの目的関数は、ヘッセンの好ましくない性質のため、強く凹むことが保証されない。
この制限に対処するために、最適化景観を改善するために、逆KL(Kullback-Leibler)分散ペナルティを組み込んだ正規化目的SAIL-RevKLを提案する。
我々の中心的な理論的貢献は、この正規化された目的が有界パラメータ空間内のポリアック・ロジャシエヴィチ(PL)条件を満たすことを証明することである。
我々は,大域収束保証を確立し,ほぼ線形なサンプル複雑性を実現する。
さらに,経験的評価を通じてSAIL-RevKLの有効性と安定性を検証し,MuJoCoベンチマークおよびLLMアライメントタスクにおいてバニラSAILよりも優れていることを示した。
関連論文リスト
- Optimal Reward Shaping: Autonomous Car Parking Case Study [1.1458853556386799]
本稿では、アライメントフィードバック、ドライブ方向スイッチの正規化、および自律並列駐車タスクで評価されたアライメントエピソード終了機構を特徴とするパラメータ化報酬形成フレームワークを提案する。
共最適化されたディープQネットワーク(DQN)エージェントは,サロゲートに基づくベイズ最適化を用いて特性制御障害モードを解く。
論文 参考訳（メタデータ） (2026-07-26T11:49:23Z) - ARMOR: Stabilizing On-Policy LLM RL with Off-Policy Anchor Samples [65.74946647574696]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力を大幅に向上させた。
本研究では,この不安定性の重要源である過最適化について検討する。
我々は,このパラダイムを受動的ペナルティからアクティブ標本安定化に移行するフレームワークARMORを提案する。
論文 参考訳（メタデータ） (2026-07-11T21:22:46Z) - Revisiting Zeroth-Order Hessian Approximation: A Single-Step Policy Optimization Lens [18.253856190297405]
ZoVH は、フル・ヘッセン行列、正則化逆数、バイアス補正された逆ヘッセン勾配積に対する分散還元された推定器のスイートである。
実世界のアプリケーションにおいて,ZoVHはより優れた推定精度と収束性能が得られることを示す。
論文 参考訳（メタデータ） (2026-05-29T07:55:57Z) - AvAtar: Learning to Align via Active Optimal Transport [70.846866626571]
本稿では,AvAtarと呼ばれる最適輸送アライメントのための基本的能動アライメントフレームワークを提案する。
大域的アライメント結果に対する勾配に基づく影響を測定することにより,候補の有意性を定量化する。
大域的アライメント結果を有効なユーティリティ関数で符号化することにより、AvAtarはOTフレームワークの下での一般的なアライメント問題に適用できる。
論文 参考訳（メタデータ） (2026-05-23T04:40:21Z) - SAGE: Shaping Anchors for Guided Exploration in RLVR of LLMs [55.46289074417954]
検証可能な報酬(RLVR)による強化学習は、推論タスクのpass@1を確実に改善するが、pass@kでは同等の利得を得られないことが多い。
中心的な構造的制約は、トレーニングを安定させるが、本質的には基準分布にポリシーを固定する逆-KL正規化から生じる。
我々は,逆KLアンカー分布自体を再構成することで,制御可能な経験的サポート拡張を可能にする,原則化されたフレームワークであるSAGEを提案する。
論文 参考訳（メタデータ） (2026-05-15T07:42:21Z) - Stabilizing Policy Optimization via Logits Convexity [59.242732612484474]
モデルロジットに対する教師付き微調整損失の凸性は、安定したトレーニングを可能にする上で重要な役割を担っていることを示す。
そこで本研究では,ロジッツ・コンベックス最適化(Logits Convex Optimization, LCO)を提案する。
論文 参考訳（メタデータ） (2026-03-01T07:40:12Z) - Unifying Stable Optimization and Reference Regularization in RLHF [64.16830602324345]
本稿では、報酬ハッキングの防止と安定したポリシー更新の維持を目標とする統一正規化手法を提案する。
我々の単純で原則化されたアライメント目的は、監督された微調整の損失を軽減し、優れたトレードオフをもたらし、アライメント結果と実装の複雑さの両方を明らかに改善する。
論文 参考訳（メタデータ） (2026-02-12T03:31:19Z) - Breaking the Stochasticity Barrier: An Adaptive Variance-Reduced Method for Variational Inequalities [0.0]
非コン最適化タスクのための新しいアルゴリズムとしてVR-A-A(VarianceReduced-Ascent with Armijo)を提案する。
本手法は,手動学習スケジューリングへの依存度を低減して,限界周期を効果的に抑制し,収束を加速することを示す。
論文 参考訳（メタデータ） (2026-01-30T14:43:07Z) - From Tail Universality to Bernstein-von Mises: A Unified Statistical Theory of Semi-Implicit Variational Inference [0.12183405753834557]
半単純変分推論 (SIVI) は$q() = int k(| z) r(dz)$ という形の近似後部を構成する
本稿では,このような家族に対する「近似最適化統計学」を統一的に展開する。
論文 参考訳（メタデータ） (2025-12-05T19:26:25Z) - PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。
本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。
その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
論文 参考訳（メタデータ） (2023-08-03T18:03:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。