論文の概要: LRHP: Learning Representations for Human Preferences via Preference Pairs

• arxiv url: http://arxiv.org/abs/2410.04503v1
• Date: Sun, 6 Oct 2024 14:48:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 07:06:24.865814
• Title: LRHP: Learning Representations for Human Preferences via Preference Pairs
• Title（参考訳）: LRHP: 選好ペアによる人間の選好表現の学習
• Authors: Chenglong Wang, Yang Gan, Yifu Huo, Yongyu Mu, Qiaozhi He, Murun Yang, Tong Xiao, Chunliang Zhang, Tongran Liu, Jingbo Zhu,
• Abstract要約: 本研究では、よりリッチで構造化された人間の嗜好表現を構築することを目的とした嗜好表現学習タスクを提案する。 選好データ選択と選好マージン予測という2つの下流タスクにおける選好表現の有用性を検証する。
• 参考スコア（独自算出の注目度）: 45.056558199304554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To improve human-preference alignment training, current research has developed numerous preference datasets consisting of preference pairs labeled as "preferred" or "dispreferred". These preference pairs are typically used to encode human preferences into a single numerical value through reward modeling, which acts as a reward signal during reinforcement learning from human feedback (RLHF). However, representing these human preferences as a numerical value complicates the analysis of these preferences and restricts their broader applications other than RLHF. In contrast, in this work, we introduce a preference representation learning task that aims to construct a richer and more structured representation of human preferences. We further develop a more generalizable framework, Learning Representations for Human Preferences via preference pairs (namely LRHP), which extends beyond traditional reward modeling to tackle this task. We verify the utility of preference representations in two downstream tasks: preference data selection and preference margin prediction. Building upon the human preferences in representations, we achieve strong performance in both tasks, significantly outperforming baselines.
• Abstract（参考訳）: 人間の嗜好アライメントトレーニングを改善するため、現在の研究では、"preferred" または "dispreferred" とラベル付けされた選好ペアからなる多くの選好データセットを開発した。 これらの選好ペアは典型的には、人間からのフィードバック(RLHF)からの強化学習において報酬信号として機能する報酬モデリングによって、人間の嗜好を単一の数値に符号化するために使用される。 しかしながら、これらの人間の嗜好を数値として表現することは、これらの嗜好の分析を複雑にし、RLHF以外の幅広い応用を制限する。 対照的に、本稿では、より豊かで構造化された人間の嗜好表現を構築することを目的とした嗜好表現学習タスクを導入する。 我々はさらに、従来の報酬モデルを超えてこの課題に取り組むために、好みペア(LRHP)を介して、より一般化可能な、人間の嗜好の学習表現フレームワークを開発する。 選好データ選択と選好マージン予測という2つの下流タスクにおける選好表現の有用性を検証する。 表現における人間の好みに基づいて、両方のタスクにおいて強いパフォーマンスを達成し、ベースラインを著しく上回る。

関連論文リスト

• Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback [87.37721254914476]
  アノテーションの品質向上のために,人間とLMの入力を組み合わせたルーティングフレームワークを提案する。 我々は、人間とLMアノテーションの任意の組み合わせで報酬モデルの性能を予測するために、性能予測モデルを訓練する。 選択したハイブリッド混合物は,一方のみ使用した場合と比較して,報奨モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-24T20:04:15Z)
• PREDICT: Preference Reasoning by Evaluating Decomposed preferences Inferred from Candidate Trajectories [3.0102456679931944]
  提案手法は,選好の精度と適応性を向上する手法である PreDICT を提案する。 我々は、グリッドワールド設定と新しいテキストドメイン環境の2つの異なる環境でPreDICTを評価する。
  論文  参考訳（メタデータ） (2024-10-08T18:16:41Z)
• General Preference Modeling with Preference Representations for Aligning Language Models [51.14207112118503]
  我々は、複雑な嗜好構造を効率的に捉えるために、応答を潜在空間に埋め込んだ選好表現学習を導入する。 また、人間からのフィードバックから報酬に基づく強化学習を一般化する嗜好スコアに基づく一般選好最適化(GPO)を提案する。 提案手法は,基礎モデルの微妙な人的価値との整合性を高めることができる。
  論文  参考訳（メタデータ） (2024-10-03T04:22:55Z)
• PAL: Pluralistic Alignment Framework for Learning from Heterogeneous Preferences [6.398937923320069]
  我々は、既存の事前学習戦略を補完する人間の嗜好をモデル化するフレームワークであるPALを提案する。 PALは,強いベースラインと比較して,競争報酬モデルの精度が向上することを示す。
  論文  参考訳（メタデータ） (2024-06-12T17:54:54Z)
• Pragmatic Feature Preferences: Learning Reward-Relevant Preferences from Human Input [17.131441665935128]
  より正確な報酬モデルを学ぶのに有用な例が好まれる理由について,より詳細なデータを抽出する方法を検討する。 本研究は, 実用的特徴嗜好を取り入れることが, より効率的なユーザ適応型報酬学習に有望なアプローチであることが示唆された。
  論文  参考訳（メタデータ） (2024-05-23T16:36:16Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  大きな言語モデル(LLM)を整列させる一般的な手法は、人間の好みを取得することに依存する。 本稿では,命令応答対に対して協調的に好みを抽出する新たな軸を提案する。 また,LLMのアライメントを大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)
• MaxMin-RLHF: Towards Equitable Alignment of Large Language Models with Diverse Human Preferences [101.57443597426374]
  Reinforcement Learning from Human Feedback (RLHF) は、言語モデルと人間の嗜好を一致させる。 予測最大化アルゴリズムを用いて嗜好分布の混合を学習し、人間の嗜好をよりよく表現する。 従来のRLHFアルゴリズムよりも16%以上の勝利率向上を実現している。
  論文  参考訳（メタデータ） (2024-02-14T03:56:27Z)
• Models of human preference for learning reward functions [80.39289349661364]
  そこで我々は,一対の軌跡区間間の人為的嗜好から報酬関数を学習する。 この仮定に欠陥があることに気付き、各セグメントの後悔が示すように、人間の嗜好をモデル化することを提案する。 提案した後悔の選好モデルは、実際の人間の選好をより良く予測し、また、これらの選好から報酬関数を学習し、より人道的な政策へと導く。
  論文  参考訳（メタデータ） (2022-06-05T17:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。