論文の概要: Strategyproof Reinforcement Learning from Human Feedback

• arxiv url: http://arxiv.org/abs/2503.09561v2
• Date: Thu, 16 Oct 2025 17:10:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 16:37:10.316437
• Title: Strategyproof Reinforcement Learning from Human Feedback
• Title（参考訳）: 人からのフィードバックによる防御強化学習
• Authors: Thomas Kleine Buening, Jiarui Gan, Debmalya Mandal, Marta Kwiatkowska,
• Abstract要約: 複数のラベル付け者が戦略的にフィードバックを誤って報告できるような環境で、ヒューマンフィードバックからの強化学習について検討する。 近年の多元的手法を含む既存のRLHFアルゴリズムは,ストラテジブルではないことを示す。
• 参考スコア（独自算出の注目度）: 24.241476731551558
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study Reinforcement Learning from Human Feedback (RLHF) in settings where multiple labelers may strategically misreport feedback to steer the learned policy toward their own preferences. We show that existing RLHF algorithms, including recent pluralistic methods, are not strategyproof, and that even a single strategic labeler can cause arbitrarily large misalignment with social welfare. Moreover, we prove that, in the worst case, any strategyproof RLHF algorithm must perform $k$-times worse than the optimal policy, where $k$ is the number of labelers. This suggests a fundamental trade-off between incentive alignment (ensuring labelers report truthfully) and policy alignment (maximizing social welfare). To address this, we propose the Pessimistic Median of MLEs algorithm, which, under appropriate policy coverage assumptions, is approximately strategyproof and converges to the optimal policy as the number of labelers and samples increases. Our results apply to both contextual bandits and Markov decision processes.
• Abstract（参考訳）: 本研究では,RLHF(Reinforcement Learning from Human Feedback)を,複数のラベルラが戦略的にフィードバックを誤って報告し,学習方針を自らの嗜好に転換できるような環境で研究する。 近年の多元的手法を含む既存のRLHFアルゴリズムは、戦略的ではないこと、また単一の戦略的ラベル付け者でさえ、社会的福祉に対する不適応を任意に生じさせることが示されている。 さらに、最悪の場合、どんな戦略的RLHFアルゴリズムでも、$k$がラベル数である最適ポリシーよりも$k$-times悪い処理をしなければならないことを証明している。 これは、インセンティブアライメント(レーベルが真実を報告するように)と政策アライメント(社会福祉の最大化)の根本的なトレードオフを示唆している。 そこで本研究では,MLEアルゴリズムのペシミスティック・メディア(Pessimistic Median of MLEs)を提案する。 この結果は文脈的帯域幅とマルコフ決定プロセスの両方に適用できる。

関連論文リスト

• Convergence and Sample Complexity of First-Order Methods for Agnostic Reinforcement Learning [66.4260157478436]
  政策学習における強化学習について検討する。 目的は、特定の種類の利害関係において最高の政策と競争力のある政策を見つけることである。
  論文  参考訳（メタデータ） (2025-07-06T14:40:05Z)
• Iterative Nash Policy Optimization: Aligning LLMs with General Preferences via No-Regret Learning [55.65738319966385]
  我々は、新しいオンラインアルゴリズム、反復的ナッシュポリシー最適化(INPO)を提案する。 従来の方法とは異なり、INPOは個々の応答に対する期待される勝利率を推定する必要性を回避している。 LLaMA-3-8BベースのSFTモデルで、INPOはAlpacaEval 2.0で42.6%、Arena-Hardで37.8%の勝利率を達成した。
  論文  参考訳（メタデータ） (2024-06-30T08:00:34Z)
• POTEC: Off-Policy Learning for Large Action Spaces via Two-Stage Policy Decomposition [40.851324484481275]
  大規模離散行動空間における文脈的バンディット政策の非政治的学習について検討する。 本稿では,2段階ポリシー分解によるポリシー最適化という新しい2段階アルゴリズムを提案する。 特に大規模かつ構造化された行動空間において,POTECはOPLの有効性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-02-09T03:01:13Z)
• Provable Offline Preference-Based Reinforcement Learning [95.00042541409901]
  本研究では,PbRL(Preference-based Reinforcement Learning)の問題について,人間のフィードバックを用いて検討する。 我々は、報酬が軌道全体にわたって定義できる一般的な報酬設定について考察する。 我々は, 軌道毎の集中性によって上界に拘束できる新しい単極集中係数を導入する。
  論文  参考訳（メタデータ） (2023-05-24T07:11:26Z)
• Importance Weighted Actor-Critic for Optimal Conservative Offline Reinforcement Learning [23.222448307481073]
  データカバレッジが不十分な複雑な環境でのオフライン強化学習(RL)のための新しい実践的アルゴリズムを提案する。 本アルゴリズムは,重要度抽出フレームワークとアクター批判パラダイムを併用する。 提案アルゴリズムの有効性を検証するため,理論的解析と実験結果の両方を提供する。
  論文  参考訳（メタデータ） (2023-01-30T07:53:53Z)
• Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
  本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。 既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。 我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
  論文  参考訳（メタデータ） (2022-12-19T22:43:08Z)
• Coordinate Ascent for Off-Policy RL with Global Convergence Guarantees [8.610425739792284]
  RLにおける非政治政策最適化の領域を再考する。 一般的に使用されるアプローチの1つは、代理目的を最適化するために、政治外の政策勾配を活用することである。 このアプローチは、分散ミスマッチの問題に悩まされていることが示されている。
  論文  参考訳（メタデータ） (2022-12-10T07:47:04Z)
• Strategic Decision-Making in the Presence of Information Asymmetry: Provably Efficient RL with Algorithmic Instruments [55.41685740015095]
  我々は,戦略MDPと呼ばれる新しいモデルの下で,オフライン強化学習について検討する。 アルゴリズムiNstruments(PLAN)を用いたペシミスティックポリシー学習法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T15:32:44Z)
• CAMEO: Curiosity Augmented Metropolis for Exploratory Optimal Policies [62.39667564455059]
  最適政策の分布を考察し研究する。 実験シミュレーションでは、CAMEOは古典的な制御問題を全て解決するポリシーを実際に得ることを示した。 さらに,本論文では,異なるリスクプロファイルを示す異なるポリシーを,解釈可能性に関する興味深い実践的応用に対応して提示する。
  論文  参考訳（メタデータ） (2022-05-19T09:48:56Z)
• Attacking and Defending Deep Reinforcement Learning Policies [3.6985039575807246]
  本研究では, DRL ポリシーのロバストな最適化の観点から, 敵攻撃に対するロバスト性について検討する。 本稿では,環境との相互作用を伴わずにポリシーの戻りを最小化しようとする欲求攻撃アルゴリズムと,最大限の形式で敵の訓練を行う防衛アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-16T12:47:54Z)
• Understanding the Effect of Stochasticity in Policy Optimization [86.7574122154668]
  最適化手法の優位性は、正確な勾配が用いられるかどうかに大きく依存することを示す。 次に,政策最適化におけるコミット率の概念を紹介する。 第三に、外部のオラクル情報がない場合には、収束を加速するために幾何を利用することと、最適性をほぼ確実に達成することとの間に本質的にトレードオフがあることが示される。
  論文  参考訳（メタデータ） (2021-10-29T06:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。