論文の概要: Distortion of AI Alignment Revisited: RLHF is a Decent Utilitarian Aligner
- arxiv url: http://arxiv.org/abs/2609.12651v1
- Date: Fri, 11 Sep 2026 09:55:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.699148
- Title: Distortion of AI Alignment Revisited: RLHF is a Decent Utilitarian Aligner
- Title（参考訳）: AIアライメントのゆがみを再考:RLHFは先進的ユーティタリアンアグリナー
- Abstract要約: 報酬クリッピングによるRLHFの歪みの微粒化解析を行った。
分布ミスマッチがない場合、RLHFは定数まで$O()$の最適歪みを達成する。
- 参考スコア（独自算出の注目度）: 25.64947652322614
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: While Reinforcement Learning from Human Feedback (RLHF) is the standard paradigm for aligning large language models with human preferences, its effectiveness in pluralistic settings has been called into question. Notably, recent work by Gölz et al. (2025) demonstrated that the \textit{distortion} -- defined as the multiplicative gap between the average user utility of the RLHF policy and the optimal average utility -- can scale exponentially with the Bradley-Terry temperature parameter $β$ when users have heterogeneous preferences. In this work, we present a fine-grained analysis of the distortion of RLHF with reward clipping and demonstrate that such exponential degradation is not a fundamental property of the algorithm but rather a consequence of distribution mismatch between the distribution generating preference data ($μ$) and the KL reference policy ($π_{\mathrm{ref}}$). To this end, we establish tight upper and lower bounds on the distortion of RLHF across multiple regimes of the KL regularization strength. We show that in a representative regime, under the Bradley-Terry model, the distortion is $\tildeΘ(βB + β)$, where $B$ is an upper bound on the log density ratio between $μ$ and $π_{\mathrm{ref}}$. In particular, when there is no distribution mismatch (i.e., $μ= π_{\mathrm{ref}}$), RLHF achieves the optimal distortion of $O(β)$ up to a constant. Our results suggest that, to reasonably maximize average utility with RLHF, it is preferable to use on-policy sampled preference data or to fine-tune before RLHF on data from a source close to $μ$.
- Abstract（参考訳）: 人間からのフィードバックからの強化学習(Reinforcement Learning from Human Feedback, RLHF)は、大規模言語モデルと人間の嗜好を整合させる標準パラダイムであるが、多元的設定におけるその有効性は疑問視されている。
特に、Gölz et al (2025) による最近の研究は、RLHF ポリシーの平均ユーザユーティリティと最適平均ユーティリティの間の乗法的ギャップとして定義される \textit{distortion} が、不均一な好みを持つユーザのBradley-Terry 温度パラメータ $β$ と指数関数的にスケール可能であることを示した。
本稿では,RLHFの歪みを報酬クリッピングで詳細に解析し,その指数分解がアルゴリズムの基本特性ではなく,分布生成選好データ(μ$)とKL参照ポリシー(π_{\mathrm{ref}}$)の分布ミスマッチの結果であることを示す。
この目的のために、我々は、KL正則化強度の複数のレギュラーにまたがるRLHFの歪みに対して、厳密な上下境界を確立する。
代表制において、ブラッドリー・テリーモデルの下では、歪みは$\tilde'(βB + β)$であり、$B$は$μ$と$π_{\mathrm{ref}}$の間の対数密度比の上限である。
特に、分布ミスマッチが存在しない場合(すなわち$μ= π_{\mathrm{ref}}$)、RLHFは定数まで$O(β)$の最適歪みを達成する。
以上の結果から,RLHF で平均効用を合理的に最大化するためには,RLHF に準ずるデータに対して,オンラインのサンプル選好データを用いたり,RLHF の前に微調整を行ったりすることが望ましいと考えられる。
関連論文リスト
- Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。
我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-20T19:34:53Z) - Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。
一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。
グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
論文 参考訳（メタデータ） (2026-02-26T15:27:53Z) - Sampling non-log-concave densities via Hessian-free high-resolution dynamics [8.014749318189851]
本研究では,Hessian-free- resolution (HFHR) プロセスのターゲット分布 $(q)prop e-U(q) からのサンプリング問題について検討する。
我々は、$blana U$ linear growth が無限大であるという追加の仮定の下で、HFHR 力学の収縮は KLD よりも厳密に優れていることを示す。
論文 参考訳（メタデータ） (2026-01-06T05:38:09Z) - Offline and Online KL-Regularized RLHF under Differential Privacy [15.993352181567872]
人的フィードバックから強化学習のオフラインおよびオンライン設定について検討する。
オフライン環境では、悲観主義の原理に基づくアルゴリズムを設計する。
オンライン環境では、我々はDPを用いたKL正規化RLHFの問題を理論的に研究した最初の人物である。
論文 参考訳（メタデータ） (2025-10-15T13:04:19Z) - DRO-REBEL: Distributionally Robust Relative-Reward Regression for Fast and Efficient LLM Alignment [0.0]
人的フィードバックによる強化学習(RLHF)は,大規模言語モデル(LLM)と人間の意図の整合に欠かせないものとなっている。
DRO-REBELは、タイプ=$p$Wasserstein, KL, $chi2$ ambiguity集合を持つ堅牢なREBEL更新の集合である。
Fenchelの双対性を利用することで、各更新は単純な相対回帰レグレッションに還元され、スケーラビリティが保たれ、PPOスタイルのクリッピングや補助値ネットワークが回避される。
論文 参考訳（メタデータ） (2025-09-23T14:49:48Z) - Distortion of AI Alignment: Does Preference Optimization Optimize for Preferences? [20.004349891563706]
事前学習後、大きな言語モデルはペア比較に基づいて人間の好みに適合する。
本稿では,最適達成可能な平均効用量と学習ポリシーの平均効用量との最悪のケース比について,アライメント手法の歪みを紹介する。
論文 参考訳（メタデータ） (2025-05-29T17:59:20Z) - Robust Reinforcement Learning from Corrupted Human Feedback [86.17030012828003]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の嗜好データを調整するための原則化されたフレームワークを提供する。
我々はRLHFのロバストなアプローチ-$R3M$を提案し、これは、潜在的に破損した選好ラベルをスパースアウトリーとしてモデル化する。
大規模言語モデル(LLM)を用いたロボット制御と自然言語生成の実験により、R3M$は、好みデータに対する様々な摂動に対する報酬の堅牢性を向上することを示した。
論文 参考訳（メタデータ） (2024-06-21T18:06:30Z) - Provably Efficient Offline Reinforcement Learning with Trajectory-Wise
Reward [66.81579829897392]
我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。
PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。
私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
論文 参考訳（メタデータ） (2022-06-13T19:11:22Z) - Human-in-the-loop: Provably Efficient Preference-based Reinforcement
Learning with General Function Approximation [107.54516740713969]
本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。
各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。
一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-23T09:03:24Z) - An Exponential Lower Bound for Linearly-Realizable MDPs with Constant
Suboptimality Gap [66.75488143823337]
また, 指数的標本複雑度は, 一定の準最適ギャップを仮定しても, 未だに保持していることを示した。
おそらく驚くことに、これはオンラインrl設定と生成モデル設定の指数関数的な分離を意味する。
論文 参考訳（メタデータ） (2021-03-23T17:05:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。