論文の概要: Bayesian Preference Elicitation with Language Models
- arxiv url: http://arxiv.org/abs/2403.05534v1
- Date: Fri, 8 Mar 2024 18:57:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 12:48:47.377884
- Title: Bayesian Preference Elicitation with Language Models
- Title(参考訳): 言語モデルを用いたベイズ選好
- Authors: Kunal Handa, Yarin Gal, Ellie Pavlick, Noah Goodman, Jacob Andreas,
Alex Tamkin, Belinda Z. Li
- Abstract要約: 本稿では,BOEDを用いて情報的質問の選択を案内するフレームワークOPENと,特徴抽出のためのLMを紹介する。
ユーザスタディでは,OPEN が既存の LM- や BOED をベースとした選好手法よりも優れていることが判明した。
- 参考スコア(独自算出の注目度): 82.58230273253939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aligning AI systems to users' interests requires understanding and
incorporating humans' complex values and preferences. Recently, language models
(LMs) have been used to gather information about the preferences of human
users. This preference data can be used to fine-tune or guide other LMs and/or
AI systems. However, LMs have been shown to struggle with crucial aspects of
preference learning: quantifying uncertainty, modeling human mental states, and
asking informative questions. These challenges have been addressed in other
areas of machine learning, such as Bayesian Optimal Experimental Design (BOED),
which focus on designing informative queries within a well-defined feature
space. But these methods, in turn, are difficult to scale and apply to
real-world problems where simply identifying the relevant features can be
difficult. We introduce OPEN (Optimal Preference Elicitation with Natural
language) a framework that uses BOED to guide the choice of informative
questions and an LM to extract features and translate abstract BOED queries
into natural language questions. By combining the flexibility of LMs with the
rigor of BOED, OPEN can optimize the informativity of queries while remaining
adaptable to real-world domains. In user studies, we find that OPEN outperforms
existing LM- and BOED-based methods for preference elicitation.
- Abstract(参考訳): AIシステムをユーザーの興味に合わせるには、人間の複雑な価値観や好みを理解し、取り入れる必要がある。
近年,人間の好みに関する情報収集に言語モデル (LM) が用いられている。
この選好データは、他のlmsおよび/またはaiシステムの微調整やガイドに使用できる。
しかしながら、LMは、不確実性の定量化、人間の精神状態のモデル化、情報的質問といった、選好学習の重要な側面に苦しむことが示されている。
これらの課題は、ベイズ最適実験設計(boed: bayesian optimal experimental design)のような、明確に定義された機能空間内で有益なクエリを設計することに焦点を当てた機械学習の他の領域で対処されている。
しかし、これらの手法はスケールが難しく、関連する機能を特定することが難しい現実世界の問題にも適用が難しい。
我々は,boedを用いて情報的質問の選択を指導するフレームワークopen (optimal preference elicitation with natural language) と,機能抽出および抽象boedクエリを自然言語質問に翻訳するlmを提案する。
LMの柔軟性とBOEDの厳密さを組み合わせることで、OPENは実際のドメインに適応しながらクエリのインフォメーション性を最適化できる。
ユーザスタディでは,OPEN が既存の LM- や BOED をベースとした選好手法よりも優れていることが判明した。
関連論文リスト
- Reliable, Adaptable, and Attributable Language Models with Retrieval [144.26890121729514]
パラメトリック言語モデル(LM)は大量のWebデータに基づいて訓練されている。
幻覚、新しいデータ分布への適応の困難、妥当性の欠如など、実践的な課題に直面している。
我々は、次世代のLMとしてパラメトリックLMを置き換えるための検索拡張LMを提唱する。
論文 参考訳(メタデータ) (2024-03-05T18:22:33Z) - Preference-Conditioned Language-Guided Abstraction [24.626805570296064]
我々は、人間の振る舞いが世界を見る方法を明らかにするのを観察する。
本研究では,行動の変化が生じたという知識を前提として,言語モデル(LM)を用いてこれらの嗜好を直接クエリする手法を提案する。
本研究では,シミュレーション実験,ユーザスタディ,モバイル操作タスクを行う実際のSpotロボット上で,効果的な嗜好条件抽象化を構築するためのフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2024-02-05T15:12:15Z) - Active Preference Inference using Language Models and Probabilistic
Reasoning [15.198912276468198]
本稿では,大規模言語モデルによるユーザの嗜好の推測を支援する推論時アルゴリズムを提案する。
我々のアルゴリズムは, LLM を誘導することで条件分布が定義される確率モデルを用いている。
実商品を用いた簡易な対話型Webショッピング設定の結果, エントロピー低減アルゴリズムを備えたLCMは, ベースラインよりも優れていた。
論文 参考訳(メタデータ) (2023-12-19T09:58:54Z) - Adapting LLMs for Efficient, Personalized Information Retrieval: Methods
and Implications [0.7832189413179361]
LLM(Large Language Models)は、人間に似たテキストの理解と生成に優れた言語モデルである。
本稿では,言語モデル(LLM)と情報検索(IR)システムの統合戦略について検討する。
論文 参考訳(メタデータ) (2023-11-21T02:01:01Z) - Eliciting Human Preferences with Language Models [56.68637202313052]
言語モデル(LM)は、ラベル付き例や自然言語のプロンプトを使用してターゲットタスクを実行するように指示することができる。
タスク仕様プロセスのガイドには*LM自身を使うことを提案します。
我々は、メール検証、コンテンツレコメンデーション、道徳的推論の3つの領域でGATEを研究している。
論文 参考訳(メタデータ) (2023-10-17T21:11:21Z) - External Reasoning: Towards Multi-Large-Language-Models Interchangeable
Assistance with Human Feedback [0.0]
本稿では、外部リポジトリからの知識の選択的統合により、LLM(Large Language Models)を拡張できることを提案する。
このアプローチの中心は、複数のLLMインターチェンジ支援に基づくTextbf外部推論のためのタイレッドポリシーの確立である。
結果は、Crefcomparisonにおける最先端のパフォーマンスを示し、ChatPDF.comを含む既存のソリューションを上回った。
論文 参考訳(メタデータ) (2023-07-05T17:05:32Z) - How Can Recommender Systems Benefit from Large Language Models: A Survey [83.90471827695625]
大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。
我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
論文 参考訳(メタデータ) (2023-06-09T11:31:50Z) - AaKOS: Aspect-adaptive Knowledge-based Opinion Summarization [5.4138734778206]
インターネット上の情報の急速な増加は、様々な活動、製品、サービスに関する圧倒的な意見やコメントにつながっている。
これにより、ユーザが意思決定を行うときに利用可能なすべての情報を処理するのが難しく、時間がかかります。
本稿では,製品レビューのためのアスペクト適応型知識ベースオピニオン要約モデルを提案する。
論文 参考訳(メタデータ) (2023-05-26T03:44:35Z) - PIVOINE: Instruction Tuning for Open-world Information Extraction [53.98073623222221]
構造化されていないテキストから包括的エンティティプロファイルを抽出するオープンワールド情報抽出(オープンワールドIE)の問題を考える。
我々は,オープンワールドIEを動作させ,自然言語命令を特徴とする目的のエンティティプロファイルを抽出できる大規模言語モデル(LLM)を開発した。
特にINSTRUCTOPENWIKIは,包括的コーパス,豊富なアノテーション,多種多様な命令を満載したオープンワールドIE向け指導チューニングデータセットである。
論文 参考訳(メタデータ) (2023-05-24T08:52:08Z) - Offline RL for Natural Language Generation with Implicit Language Q
Learning [87.76695816348027]
ユーザ指定タスクの完了に関して、大きな言語モデルは矛盾する可能性がある。
本稿では,RLのフレキシブル・ユーティリティ・フレームワークと教師あり学習能力を組み合わせた新しいRL手法を提案する。
ILQLの実証的な検証に加えて、オフラインRLが自然言語生成設定で有用となるような、詳細な経験的分析状況も提示する。
論文 参考訳(メタデータ) (2022-06-05T18:38:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。