論文の概要: Enhancing Preference-based Linear Bandits via Human Response Time

• arxiv url: http://arxiv.org/abs/2409.05798v2
• Date: Wed, 30 Oct 2024 10:28:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 22:27:40.746511
• Title: Enhancing Preference-based Linear Bandits via Human Response Time
• Title（参考訳）: 人の反応時間による嗜好に基づく線形帯域の強化
• Authors: Shen Li, Yuyang Zhang, Zhaolin Ren, Claire Liang, Na Li, Julie A. Shah,
• Abstract要約: 対話的な嗜好学習システムは、クエリを選択肢のペアとして人間に提示する。 これを解決するために、人間の反応時間を利用する。それは、相補的な情報として、逆に好みの強さと相関する。 本研究では,EZ拡散モデルに基づく計算効率のよい手法を導入し,選択時間と応答時間を組み合わせて基礎となる実用性関数を推定する。
• 参考スコア（独自算出の注目度）: 25.92686846689662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interactive preference learning systems present humans with queries as pairs of options; humans then select their preferred choice, allowing the system to infer preferences from these binary choices. While binary choice feedback is simple and widely used, it offers limited information about preference strength. To address this, we leverage human response times, which inversely correlate with preference strength, as complementary information. We introduce a computationally efficient method based on the EZ-diffusion model, combining choices and response times to estimate the underlying human utility function. Theoretical and empirical comparisons with traditional choice-only estimators show that for queries where humans have strong preferences (i.e., "easy" queries), response times provide valuable complementary information and enhance utility estimates. We integrate this estimator into preference-based linear bandits for fixed-budget best-arm identification. Simulations on three real-world datasets demonstrate that incorporating response times significantly accelerates preference learning.
• Abstract（参考訳）: 対話的な嗜好学習システムは、クエリを選択肢のペアとして人間に提示する。 二分選択フィードバックはシンプルで広く使われているが、好みの強さに関する限られた情報を提供する。 これを解決するために、人間の反応時間を利用する。それは、相補的な情報として、逆に好みの強さと相関する。 本研究では,EZ拡散モデルに基づく計算効率のよい手法を導入し,選択時間と応答時間を組み合わせて基礎となる実用性関数を推定する。 従来の選択のみの推定器との理論的および実証的な比較は、人間が強い嗜好(すなわち"easy"クエリ)を持つクエリの場合、応答時間が貴重な相補的な情報を提供し、ユーティリティ推定を向上することを示している。 我々は、この推定器を、固定予算のベストアーム識別のための嗜好に基づく線形バンドレットに統合する。 実世界の3つのデータセットのシミュレーションは、応答時間の導入が好みの学習を著しく加速することを示した。

関連論文リスト

• Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback [87.37721254914476]
  アノテーションの品質向上のために,人間とLMの入力を組み合わせたルーティングフレームワークを提案する。 我々は、人間とLMアノテーションの任意の組み合わせで報酬モデルの性能を予測するために、性能予測モデルを訓練する。 選択したハイブリッド混合物は,一方のみ使用した場合と比較して,報奨モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-24T20:04:15Z)
• LRHP: Learning Representations for Human Preferences via Preference Pairs [45.056558199304554]
  本研究では、よりリッチで構造化された人間の嗜好表現を構築することを目的とした嗜好表現学習タスクを提案する。 選好データ選択と選好マージン予測という2つの下流タスクにおける選好表現の有用性を検証する。
  論文  参考訳（メタデータ） (2024-10-06T14:48:28Z)
• General Preference Modeling with Preference Representations for Aligning Language Models [51.14207112118503]
  我々は、複雑な嗜好構造を効率的に捉えるために、応答を潜在空間に埋め込んだ選好表現学習を導入する。 また、人間からのフィードバックから報酬に基づく強化学習を一般化する嗜好スコアに基づく一般選好最適化(GPO)を提案する。 提案手法は,基礎モデルの微妙な人的価値との整合性を高めることができる。
  論文  参考訳（メタデータ） (2024-10-03T04:22:55Z)
• Cost-Effective Proxy Reward Model Construction with On-Policy and Active Learning [70.22819290458581]
  人間のフィードバックによる強化学習(RLHF)は、現在の大規模言語モデルパイプラインにおいて広く採用されているアプローチである。 提案手法では,(1)OODを回避するためのオン・ポリシー・クエリと,(2)プライオリティ・クエリの最も情報性の高いデータを選択するためのアクティブ・ラーニングという2つの重要なイノベーションを導入している。
  論文  参考訳（メタデータ） (2024-07-02T10:09:19Z)
• Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
  13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。 具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。 最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
  論文  参考訳（メタデータ） (2024-06-17T03:51:46Z)
• Online Self-Preferring Language Models [34.22412851864247]
  オンライン自己選好(OSP)言語モデルは、自己生成の応答ペアと自己判断の選好強度から学習する。 OSPは、広く使われている2つの人間の嗜好データセットにおいて、さまざまなメトリクスをまたいだ最先端のアライメント性能を達成する。
  論文  参考訳（メタデータ） (2024-05-23T02:13:34Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  大きな言語モデル(LLM)を整列させる一般的な手法は、人間の好みを取得することに依存する。 本稿では,命令応答対に対して協調的に好みを抽出する新たな軸を提案する。 また,LLMのアライメントを大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。