論文の概要: PREDICT: Preference Reasoning by Evaluating Decomposed preferences Inferred from Candidate Trajectories

• arxiv url: http://arxiv.org/abs/2410.06273v1
• Date: Tue, 8 Oct 2024 18:16:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:11:01.961041
• Title: PREDICT: Preference Reasoning by Evaluating Decomposed preferences Inferred from Candidate Trajectories
• Title（参考訳）: PreDICT:候補軌道から推定される分解選好の評価による選好推論
• Authors: Stephane Aroca-Ouellette, Natalie Mackraz, Barry-John Theobald, Katherine Metcalf,
• Abstract要約: 提案手法は,選好の精度と適応性を向上する手法である PreDICT を提案する。 我々は、グリッドワールド設定と新しいテキストドメイン環境の2つの異なる環境でPreDICTを評価する。
• 参考スコア（独自算出の注目度）: 3.0102456679931944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accommodating human preferences is essential for creating AI agents that deliver personalized and effective interactions. Recent work has shown the potential for LLMs to infer preferences from user interactions, but they often produce broad and generic preferences, failing to capture the unique and individualized nature of human preferences. This paper introduces PREDICT, a method designed to enhance the precision and adaptability of inferring preferences. PREDICT incorporates three key elements: (1) iterative refinement of inferred preferences, (2) decomposition of preferences into constituent components, and (3) validation of preferences across multiple trajectories. We evaluate PREDICT on two distinct environments: a gridworld setting and a new text-domain environment (PLUME). PREDICT more accurately infers nuanced human preferences improving over existing baselines by 66.2\% (gridworld environment) and 41.0\% (PLUME).
• Abstract（参考訳）: パーソナライズされた効果的なインタラクションを提供するAIエージェントを作成するためには、人間の好みの調整が不可欠である。 最近の研究は、LLMがユーザーインタラクションから好みを推測する可能性を示しているが、広範で汎用的な嗜好をしばしば生み出し、人間の嗜好の独特で個人化された性質を捉えていない。 提案手法は,選好の精度と適応性を向上する手法である PreDICT を提案する。 PreDICTには、(1)推論された嗜好の反復的洗練、(2)構成要素への選好の分解、(3)複数の軌跡をまたいだ選好の検証の3つの重要な要素が組み込まれている。 我々は、グリッドワールド設定と新しいテキストドメイン環境(PLUME)の2つの異なる環境でPreDICTを評価する。 PreDICTは、既存のベースラインよりも66.2\%(gridworld environment)と41.0\%(PLUME)改善されたニュアンスな人間の嗜好をより正確に推測する。

関連論文リスト

• VPO: Leveraging the Number of Votes in Preference Optimization [5.200545764106177]
  本稿では,ユーザの投票データを活用し,多様な主観的嗜好に適合する手法を提案する。 我々は,議論を呼んでいる世代対と明らかな世代対を区別するために,双方の投票数を組み込んだVoteベースのPreference Optimizationフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-10-30T10:39:34Z)
• Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback [87.37721254914476]
  アノテーションの品質向上のために,人間とLMの入力を組み合わせたルーティングフレームワークを提案する。 我々は、人間とLMアノテーションの任意の組み合わせで報酬モデルの性能を予測するために、性能予測モデルを訓練する。 選択したハイブリッド混合物は,一方のみ使用した場合と比較して,報奨モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-24T20:04:15Z)
• ComPO: Community Preferences for Language Model Personalization [122.54846260663922]
  ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。 ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
  論文  参考訳（メタデータ） (2024-10-21T14:02:40Z)
• LRHP: Learning Representations for Human Preferences via Preference Pairs [45.056558199304554]
  本研究では、よりリッチで構造化された人間の嗜好表現を構築することを目的とした嗜好表現学習タスクを提案する。 選好データ選択と選好マージン予測という2つの下流タスクにおける選好表現の有用性を検証する。
  論文  参考訳（メタデータ） (2024-10-06T14:48:28Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Annotation-Efficient Preference Optimization for Language Model Alignment [3.726173629675064]
  制限付きアノテーション予算を使って効果的な選好データセットを作成する方法を示す。 AEPOを用いてDPO(Direct Preference Optimization)の性能を評価し、同じアノテーション予算で標準DPOを用いてトレーニングしたモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-22T11:23:03Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  大きな言語モデル(LLM)を整列させる一般的な手法は、人間の好みを取得することに依存する。 本稿では,命令応答対に対して協調的に好みを抽出する新たな軸を提案する。 また,LLMのアライメントを大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)
• Promptable Behaviors: Personalizing Multi-Objective Rewards from Human Preferences [53.353022588751585]
  本稿では,ロボットエージェントの多種多様な嗜好に対する効率的なパーソナライズを促進する新しいフレームワークであるPromptable Behaviorsを紹介する。 我々は、異なるタイプの相互作用を活用することによって、人間の嗜好を推測する3つの異なる方法を紹介した。 本稿では,ProcTHOR と Robothor のナビゲーションタスクをパーソナライズしたオブジェクトゴールナビゲーションおよびエスケープナビゲーションタスクにおいて,提案手法の評価を行う。
  論文  参考訳（メタデータ） (2023-12-14T21:00:56Z)
• Pacos: Modeling Users' Interpretable and Context-Dependent Choices in Preference Reversals [8.041047797530808]
  我々は,ユーザの適応重み,イテム間比較,表示位置の3つの要因を同定した。 3つの要因を同時に扱うための統合フレームワークとして,Pacosというコンテキスト依存の嗜好モデルを提案する。 実験の結果,提案手法は,ユーザの選択を予測するための先行作業よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-03-10T01:49:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。