論文の概要: Models of human preference for learning reward functions

• arxiv url: http://arxiv.org/abs/2206.02231v3
• Date: Wed, 6 Sep 2023 21:13:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 18:19:22.585257
• Title: Models of human preference for learning reward functions
• Title（参考訳）: 報酬関数学習のための人間の嗜好モデル
• Authors: W. Bradley Knox, Stephane Hatgis-Kessell, Serena Booth, Scott Niekum, Peter Stone, Alessandro Allievi
• Abstract要約: そこで我々は,一対の軌跡区間間の人為的嗜好から報酬関数を学習する。 この仮定に欠陥があることに気付き、各セグメントの後悔が示すように、人間の嗜好をモデル化することを提案する。 提案した後悔の選好モデルは、実際の人間の選好をより良く予測し、また、これらの選好から報酬関数を学習し、より人道的な政策へと導く。
• 参考スコア（独自算出の注目度）: 80.39289349661364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The utility of reinforcement learning is limited by the alignment of reward functions with the interests of human stakeholders. One promising method for alignment is to learn the reward function from human-generated preferences between pairs of trajectory segments, a type of reinforcement learning from human feedback (RLHF). These human preferences are typically assumed to be informed solely by partial return, the sum of rewards along each segment. We find this assumption to be flawed and propose modeling human preferences instead as informed by each segment's regret, a measure of a segment's deviation from optimal decision-making. Given infinitely many preferences generated according to regret, we prove that we can identify a reward function equivalent to the reward function that generated those preferences, and we prove that the previous partial return model lacks this identifiability property in multiple contexts. We empirically show that our proposed regret preference model outperforms the partial return preference model with finite training data in otherwise the same setting. Additionally, we find that our proposed regret preference model better predicts real human preferences and also learns reward functions from these preferences that lead to policies that are better human-aligned. Overall, this work establishes that the choice of preference model is impactful, and our proposed regret preference model provides an improvement upon a core assumption of recent research. We have open sourced our experimental code, the human preferences dataset we gathered, and our training and preference elicitation interfaces for gathering a such a dataset.
• Abstract（参考訳）: 強化学習の有用性は、報酬機能の調整と人間の利害関係者の利益によって制限される。 アライメントの有望な方法の1つは、人間のフィードバック(rlhf)からの強化学習の一種である軌道セグメントのペア間の人間の生成した好みから報酬機能を学ぶことである。 これらの人間の好みは、通常、各セグメントの報酬の合計である部分的なリターンによってのみ通知される。 この仮定は欠陥があり、各セグメントの後悔、つまり最適な意思決定からセグメントの逸脱を判断する尺度によってではなく、人間の好みをモデル化することを提案している。 後悔によって生じる無限個の選好が与えられた場合、これらの選好を生成する報奨関数と等価な報奨関数を同定できることを証明し、その先行部分回帰モデルが複数の文脈においてこの識別可能性特性を欠いていることを証明した。 提案した後悔選好モデルが,トレーニングデータに制限のある部分回帰選好モデルよりも優れていることを実証的に示す。 さらに,提案する後悔選好モデルは,実際の人間選好を予測し,その選好から報奨機能を学習し,より人間に合った政策へと導くことを見出した。 概して、この研究は、選好モデルの選択が影響があることを証明し、提案した後悔選好モデルは、最近の研究の中核的な仮定を改善する。 我々は、実験コード、収集した人間の嗜好データセット、そしてそのようなデータセットを集めるためのトレーニングと嗜好誘発インターフェースをオープンソース化しました。

関連論文リスト

• Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback [87.37721254914476]
  アノテーションの品質向上のために,人間とLMの入力を組み合わせたルーティングフレームワークを提案する。 我々は、人間とLMアノテーションの任意の組み合わせで報酬モデルの性能を予測するために、性能予測モデルを訓練する。 選択したハイブリッド混合物は,一方のみ使用した場合と比較して,報奨モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-24T20:04:15Z)
• LRHP: Learning Representations for Human Preferences via Preference Pairs [45.056558199304554]
  本研究では、よりリッチで構造化された人間の嗜好表現を構築することを目的とした嗜好表現学習タスクを提案する。 選好データ選択と選好マージン予測という2つの下流タスクにおける選好表現の有用性を検証する。
  論文  参考訳（メタデータ） (2024-10-06T14:48:28Z)
• General Preference Modeling with Preference Representations for Aligning Language Models [51.14207112118503]
  我々は、複雑な嗜好構造を効率的に捉えるために、応答を潜在空間に埋め込んだ選好表現学習を導入する。 また、人間からのフィードバックから報酬に基づく強化学習を一般化する嗜好スコアに基づく一般選好最適化(GPO)を提案する。 提案手法は,基礎モデルの微妙な人的価値との整合性を高めることができる。
  論文  参考訳（メタデータ） (2024-10-03T04:22:55Z)
• Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
  言語モデル (LM) は、好みのアノテーションから派生した報酬関数を最大化する。 DPOは、報酬モデルや強化学習を適用することなく、優先データに直接ポリシーを訓練する一般的なオフラインアライメント手法である。 この現象を解析し, 生成対よりも真の嗜好分布のより良いプロキシを得るため, 蒸留を提案する。
  論文  参考訳（メタデータ） (2024-05-29T17:39:48Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• A density estimation perspective on learning from pairwise human preferences [32.64330423345252]
  選好行動分布方程式を用いて定義された生成過程の族に対して、ペアの選好に対して報酬関数を訓練することにより、アノテータの暗黙の選好分布を効果的にモデル化できることが示される。 アノテーションの誤用(annotator misspecification) - アノテーションの振る舞いに関する誤ったモデリング仮定が作成され、不適応なモデルが生じる、失敗事例について議論し、提示する。
  論文  参考訳（メタデータ） (2023-11-23T17:20:36Z)
• Learning Optimal Advantage from Preferences and Mistaking it for Reward [43.58066500250688]
  最近の研究は、人間の嗜好はこれらのセグメントに蓄積された報酬またはその部分的なリターンに基づいて生成されると仮定している。 本研究は, 後悔から生じる部分的回帰に基づいて, 嗜好を仮定した結果について検討する。 本論文は,人間の嗜好の仕方に乏しいにもかかわらず,部分回帰選好モデル下での学習が実際になぜうまく機能するのかを概観する。
  論文  参考訳（メタデータ） (2023-10-03T21:58:24Z)
• Batch Reinforcement Learning from Crowds [24.717084423091865]
  バッチ強化学習の欠点は、データに対する報酬の要求である。 行動クローンのような報酬の欠如に関する既存の設定は、人間から集めた最適なデモンストレーションに依存している。 本論文は、選好から報酬関数を学習することで、バッチ強化学習環境における報酬の欠如に対処する。
  論文  参考訳（メタデータ） (2021-11-08T05:46:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。