論文の概要: Asymptotics of Language Model Alignment

• arxiv url: http://arxiv.org/abs/2404.01730v1
• Date: Tue, 2 Apr 2024 08:40:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 17:28:41.381836
• Title: Asymptotics of Language Model Alignment
• Title（参考訳）: 言語モデルアライメントの漸近
• Authors: Joy Qiping Yang, Salman Salamatian, Ziteng Sun, Ananda Theertha Suresh, Ahmad Beirami,
• Abstract要約: 最適KL制約RL解が大きな偏差原理を満たすことを示す。 また、報酬のスケールした累積物の成長速度は、適切なレニイクロスエントロピーによって特徴づけられることを示した。
• 参考スコア（独自算出の注目度）: 27.37118975691123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Let $p$ denote a generative language model. Let $r$ denote a reward model that returns a scalar that captures the degree at which a draw from $p$ is preferred. The goal of language model alignment is to alter $p$ to a new distribution $\phi$ that results in a higher expected reward while keeping $\phi$ close to $p.$ A popular alignment method is the KL-constrained reinforcement learning (RL), which chooses a distribution $\phi_\Delta$ that maximizes $E_{\phi_{\Delta}} r(y)$ subject to a relative entropy constraint $KL(\phi_\Delta || p) \leq \Delta.$ Another simple alignment method is best-of-$N$, where $N$ samples are drawn from $p$ and one with highest reward is selected. In this paper, we offer a closed-form characterization of the optimal KL-constrained RL solution. We demonstrate that any alignment method that achieves a comparable trade-off between KL divergence and reward must approximate the optimal KL-constrained RL solution in terms of relative entropy. To further analyze the properties of alignment methods, we introduce two simplifying assumptions: we let the language model be memoryless, and the reward model be linear. Although these assumptions may not reflect complex real-world scenarios, they enable a precise characterization of the asymptotic behavior of both the best-of-$N$ alignment, and the KL-constrained RL method, in terms of information-theoretic quantities. We prove that the reward of the optimal KL-constrained RL solution satisfies a large deviation principle, and we fully characterize its rate function. We also show that the rate of growth of the scaled cumulants of the reward is characterized by a proper Renyi cross entropy. Finally, we show that best-of-$N$ is asymptotically equivalent to KL-constrained RL solution by proving that their expected rewards are asymptotically equal, and concluding that the two distributions must be close in KL divergence.
• Abstract（参考訳）: p$ は生成言語モデルを表す。 r$は、$p$からの引き分けが好まれる度合いをキャプチャするスカラーを返す報酬モデルを表す。 言語モデルのアライメントの目標は、$\phi$ を新しいディストリビューション $\phi$ に変更することで、$\phi$ を $p に近く保ちながら、期待されるより高い報酬をもたらすことである。 一般的なアライメント法はKL制約強化学習(RL)であり、分布 $\phi_\Delta$ を最大化する$E_{\phi_{\Delta}} r(y)$ を相対エントロピー制約 $KL(\phi_\Delta || p) \leq \Delta を選択する。 もうひとつの単純なアライメントメソッドは$N$で、$N$サンプルは$p$から引き出され、最も報酬の高いものが選択される。 本稿では,最適KL制約RL解の閉形式特性について述べる。 我々は、相対エントロピーの観点から、KL分散と報酬の同等のトレードオフを達成するアライメント法は、最適KL制約されたRL解を近似しなければならないことを示した。 さらに,アライメント手法の特性を解析するために,言語モデルをメモリレスにし,報酬モデルを線形にする,という2つの単純化された仮定を導入する。 これらの仮定は、複雑な実世界のシナリオを反映していないかもしれないが、情報理論量の観点からは、最良のN$アライメントとKL制約RL法の両方の漸近挙動を正確に評価することができる。 我々は、最適KL制約RL解の報酬が大きな偏差原理を満たすことを証明し、その速度関数を完全に特徴づける。 また、報酬のスケールした累積物の成長速度は、適切なレニイクロスエントロピーによって特徴づけられることを示した。 最後に、Fest-of-N$ は KL-制約された RL 解と漸近的に同値であることを示し、それらの期待される報酬が漸近的に等しいことを示し、2つの分布が KL の発散において近接でなければならないと結論付ける。

関連論文リスト

• Reinforcement Learning from Human Feedback without Reward Inference: Model-Free Algorithm and Instance-Dependent Analysis [16.288866201806382]
  モデルフリーなRLHFベストポリシー識別アルゴリズムである$mathsfBSAD$を、明示的な報酬モデル推論なしで開発する。 アルゴリズムは、人選好情報から直接、その最適方針を後方方向に識別する。
  論文  参考訳（メタデータ） (2024-06-11T17:01:41Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• Theoretical guarantees on the best-of-n alignment policy [110.21094183592358]
  基本方針と最良$n$ポリシーのKL分散は、$log (n) - (n-1)/n.$と等しいことを示す。 KLの発散に対する新しい推定器を提案し、いくつかの例を通して厳密な近似を与えることを実証的に示す。
  論文  参考訳（メタデータ） (2024-01-03T18:39:13Z)
• Convergence Rates for Stochastic Approximation: Biased Noise with Unbounded Variance, and Applications [2.0584253077707477]
  目的関数 $J(cdot)$ の定常点を求めるグラディエント・Descent (SGD) 法の収束特性について検討した。 この結果は、すべての定常点が大域最小値である性質を持つ invex' 関数のクラスに適用できる。
  論文  参考訳（メタデータ） (2023-12-05T15:22:39Z)
• Demonstration-Regularized RL [39.96273388393764]
  専門的な実証から,次数$widetildeO(mathrmPoly(S,A,H)/(varepsilon2 NmathrmE)$および$widetildeO(mathrmPoly(d,H)/(varepsilon2 NmathrmE)$の線形マルコフ決定過程における最適ポリシを同定した。 実演規則化手法が人間のフィードバックからの強化学習に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-26T10:54:47Z)
• Best Policy Identification in Linear MDPs [70.57916977441262]
  縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。 複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
  論文  参考訳（メタデータ） (2022-08-11T04:12:50Z)
• Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
  我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。 私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-13T19:11:22Z)
• Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free Reinforcement Learning [52.76230802067506]
  漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。 提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。 初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
  論文  参考訳（メタデータ） (2021-10-09T21:13:48Z)
• On Reward-Free Reinforcement Learning with Linear Function Approximation [144.4210285338698]
  Reward-free reinforcement learning (RL) は、バッチRL設定と多くの報酬関数がある設定の両方に適したフレームワークである。 本研究では,線形関数近似を用いた報酬のないRLに対して,正と負の両方の結果を与える。
  論文  参考訳（メタデータ） (2020-06-19T17:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。