論文の概要: The Asymptotics of Language Model Alignment with Memory
- arxiv url: http://arxiv.org/abs/2610.01828v1
- Date: Thu, 01 Oct 2026 15:04:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.213501
- Title: The Asymptotics of Language Model Alignment with Memory
- Title（参考訳）: 記憶を伴う言語モデルアライメントの漸近
- Abstract要約: 言語モデル(LM)アライメントは、所定のLM$Q$を整列LM$q$に摂動させることを目的としており、i)$q$と$Q$で生成された出力は確率で'クロース'、i)$q$は$Q$よりも高い期待報酬を持つ。
LMアライメントのための2つの一般的な手法は、LM分布の知識を必要とするKL制約付きRLと、LMからのサンプリングのみを必要とするベスト・オブ・n$アルゴリズムである。
- 参考スコア（独自算出の注目度）: 3.8673630752805437
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language model (LM) alignment broadly aims to perturb a given LM $Q$ into an aligned LM $q$ such that i) the outputs produced by $q$ and $Q$ are 'close' in probability, ii) $q$ has a higher expected reward than $Q$. Two common techniques for LM alignment are: KL-constrained RL, which requires knowledge of the LM distribution and is computationally expensive, and the best-of-$n$ algorithm, which requires only sampling from the LM. The work of Yang et al. established asymptotic closeness between the distributions produced by the two alignment methods for an $m$--length i.i.d. token sequence output by the LM, in the limit as $m$ increases to infinity. However, the i.i.d. assumption is not representative of practical LMs, whose output sequences often have memory. In this paper, we extend the asymptotic closeness result to the case when the $m$--length token sequence outputted by the LM is Markovian. Further, for finite-length output sequences -- particularly, when $m=1$ -- we provide a complete characterization of LM distributions and reward functions for which the KL-divergence between the distributions produced by the two alignment methods is zero -- a question first posed in Yang et al.
- Abstract（参考訳）: 言語モデル(LM)アライメントは、与えられたLM$Q$をアライメントされたLM$q$に摂動することを目的としている。
i)$q$及び$Q$が生成する出力は、確率において「クローズ」である。
ii)$q$は$Q$よりも高い期待報酬を有する。
LMアライメントのための2つの一般的な手法は、LM分布の知識を必要とするKL制約付きRLと、LMからのサンプリングのみを必要とするベスト・オブ・n$アルゴリズムである。
ヤンらの研究は、M$-長のトークン列が出力する$m$-長の2つのアライメント法によって生成される分布間の漸近性を確立した。すなわち、m$-長のトークン列は無限大に増加するという極限において。しかし、i.d.の仮定は、出力列がしばしばメモリを持つ実用的なLMの表現ではない。この記事では、LMによって出力される$m$-長のトークン列がマルコビアンである場合に、漸近性クローズネスを拡張させる。
さらに、有限長の出力列 -- 特に$m=1$ -- に対して、2つのアライメント法によって生成される分布間のKL-発散がゼロとなるようなLM分布と報酬関数の完全な特徴づけを与える。
関連論文リスト
- Exact log-depth preparation of highly entangled matrix product states [0.27402733069181]
量子デバイス上での行列積状態(MPS)の合成は多くの量子アルゴリズムの重要な部分である。
スケールを$L$で犠牲にすることなく、正確に準備の仕方を示す。
また、独立かつ同一に分布するランダムテンソル列に対する対数-深度精密な準備を証明した。
論文 参考訳（メタデータ） (2026-06-23T12:08:42Z) - Language Model Inversion through End-to-End Differentiation [1.687374878680432]
所与の(凍結した)LMのエンドツーエンドの微分性を実現するための簡単なアルゴリズムを提案する。
次に、勾配降下により最適化されたプロンプトを求める。
我々のDLMによるインバージョンは、長さ20ドルの目標に対して10ドルと80ドルのプロンプトを、いくつかのホワイトボックスLM(アウト・オブ・ザ・ボックス)に対して、確実かつ効率的に最適化できることを示す。
論文 参考訳（メタデータ） (2026-02-11T17:14:41Z) - Trust Region Masking for Long-Horizon LLM Reinforcement Learning [20.589897184824878]
大規模言語モデルのポリシー勾配法は、ロールアウトポリシーのサンプルから計算された代理目的を最適化する。
$_textroll ne _$ の場合、サロゲートと真の目的の間に近似誤差がある。
本稿では,トークンが信頼領域に違反した場合に,全シーケンスを勾配計算から除外するトラスト領域マスキング(TRM)を提案する。
論文 参考訳（メタデータ） (2025-12-28T20:41:59Z) - Layered State Discovery for Incremental Autonomous Exploration [106.37656068276901]
Layered Autonomous Exploration (LAE) は、$tildemathcalO(LSrightarrow_LAln12(Srightarrow_LAln12(Srightarrow_LAln12(Srightarrow_LAln12(Srightar row_LAln12)Srightarrow_LAln12(Srightarrow_LAln12)Srightarrow_LAln12(Srightarrow_LAln12)のサンプル複雑性を達成するAXの新しいアルゴリズムである。
論文 参考訳（メタデータ） (2023-02-07T22:58:12Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳（メタデータ） (2022-10-20T21:32:01Z) - A Law of Iterated Logarithm for Multi-Agent Reinforcement Learning [3.655021726150368]
マルチエージェント強化学習(MARL: Multi-Agent Reinforcement Learning)では、複数のエージェントが共通の環境と相互作用し、シーケンシャルな意思決定において共有問題を解く。
我々は、MARLで有用な分散非線形近似スキームの族を反復する新しい法則を導出する。
論文 参考訳（メタデータ） (2021-10-27T08:01:17Z) - Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov
Decision Processes [91.38793800392108]
本稿では,マルコフ決定過程(MDP)の遷移確率核が線形混合モデルである線形関数近似による強化学習について検討する。
上記の線形混合 MDP に対して$textUCRL-VTR+$ という線形関数近似を用いた計算効率の良い新しいアルゴリズムを提案する。
我々の知る限り、これらは線形関数近似を持つRLのための計算効率が良く、ほぼ最小のアルゴリズムである。
論文 参考訳（メタデータ） (2020-12-15T18:56:46Z) - Logarithmic Regret for Reinforcement Learning with Linear Function
Approximation [99.59319332864129]
最近提案された2つの線形MDP仮定で対数的後悔が達成可能であることを示す。
我々の知る限り、これらは線型関数近似を持つRLに対する最初の対数的後悔境界である。
論文 参考訳（メタデータ） (2020-11-23T17:25:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。