論文の概要: Aligning Large Language Models with Human Opinions through Persona Selection and Value--Belief--Norm Reasoning

• arxiv url: http://arxiv.org/abs/2311.08385v4
• Date: Fri, 01 Nov 2024 10:28:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:32:38.862481
• Title: Aligning Large Language Models with Human Opinions through Persona Selection and Value--Belief--Norm Reasoning
• Title（参考訳）: 人格選択と価値理解による人称オピニオン付き大規模言語モデルのアライメント--ノマー推論
• Authors: Do Xuan Long, Kenji Kawaguchi, Min-Yen Kan, Nancy F. Chen,
• Abstract要約: Chain-of-Opinion (COO)は、単純な4段階のソリューションモデリングであり、ペルソナによる推論方法である。 COOは明示的な人格(デモグラフィーとイデオロギー)と暗黙的な人格(歴史学的な意見)を区別する COOは、推論コールを5回だけ促すことで、新しい最先端の意見予測を効率的に達成し、以前のテクニックを最大4%改善する。
• 参考スコア（独自算出の注目度）: 67.33899440998175
• License:
• Abstract: Reasoning and predicting human opinions with large language models (LLMs) is essential yet challenging. Current methods employ role-playing with personae but face two major issues: LLMs are sensitive to even a single irrelevant persona, skewing predictions by up to 30%, and LLMs fail to reason strategically over personae. We propose Chain-of-Opinion (COO), a simple four-step solution modeling which and how to reason with personae, inspired by the Value--Belief--Norm (VBN) theory. COO differentiates between explicit personae (demographics and ideology) and implicit personae (historical opinions), involves: (1) filtering irrelevant attributes from explicit personae, (2) ranking implicit personae into a preferential list for selecting top-k, (3) applying novel VBN reasoning to extract user environmental and personal value, belief, and norm variables for accurate and reliable predictions, and (4) iterating VBN reasoning with progressively larger lists of implicit personae to handle potential persona insufficiency. COO efficiently achieves new state-of-the-art opinion prediction via prompting with only 5 inference calls, improving prior techniques by up to 4%. Notably, fine-tuning LMs with COO data results in significantly better opinion-aligned models, by up to 23%.
• Abstract（参考訳）: 大規模な言語モデル(LLM)による人間の意見の推論と推論は不可欠である。 現在の手法では、ペルソナとのロールプレイングが採用されているが、大きな2つの問題に直面している。 本稿では,VBN理論にインスパイアされた,単純な4段階のソリューションモデリングであるChain-of-Opinion(COO)を提案する。 1)無関係な属性を明示的な人格からフィルタリングし、(2)暗黙的な人格をトップkを選択するための優先リストにランク付けし、(3)ユーザの環境、個人的価値、信念、標準変数を抽出して正確で信頼性の高い予測を行うための新しいVBN推論を適用し、(4)暗黙的な人格の一覧を徐々に大きくし、潜在的な人格の不足を処理するためのVBN推論を反復する。 COOは、推論コールを5回だけ促すことで、新しい最先端の意見予測を効率的に達成し、以前のテクニックを最大4%改善する。 特に、COOデータによる微調整のLMでは、意見整合性モデルが最大23%向上する。

関連論文リスト

• Large Language Models Assume People are More Rational than We Really are [10.857040292234984]
  AIが人と効果的にコミュニケーションするためには、意思決定の仕方を理解する必要があります。 以前の実証的な証拠は、これらの暗黙のモデルが正確であることを示唆しているようである。 人々の選択をシミュレートし、予測する場合は、実際にはそうではありません。
  論文  参考訳（メタデータ） (2024-06-24T18:15:27Z)
• Evaluating Large Language Model Biases in Persona-Steered Generation [26.92498998306013]
  大規模な言語モデル (LLM) は、不連続な人格に対して、連続した人格よりも9.7%少ないことが示される。 強化学習(Reinforcement Learning from Human Feedback, RLHF)により微調整されたモデルは、特に政治的リベラル派や女性に関連するスタンスに対して、より安定している。
  論文  参考訳（メタデータ） (2024-05-30T17:06:03Z)
• Large Language Models Show Human-like Social Desirability Biases in Survey Responses [12.767606361552684]
  人格評価が推定された場合,Large Language Models (LLMs) が特徴次元の望ましい端に向かってスコアを歪めていることを示す。 このバイアスは、GPT-4/3.5、Claude 3、Llama 3、PaLM-2を含む全ての試験モデルに存在する。 すべての質問のリバースコーディングはバイアスレベルを低下させるが、それらを取り除くことはできず、この効果はアクセプションバイアスによるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-09T19:02:53Z)
• Dissecting Human and LLM Preferences [80.55271307662365]
  人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。 GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。 嗜好に基づく評価は意図的に操作可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-17T14:34:31Z)
• Quantifying the Persona Effect in LLM Simulations [25.367927300697424]
  大規模言語モデル(LLM)は、人間の言語と振る舞いをシミュレートする際、顕著な可能性を示してきた。 本研究では,パーソナ変数のデコグラフィ,社会的,行動的要因の統合がLLMの多様な視点をシミュレートする能力にどのように影響するかを検討する。 既存の主観的NLPデータセットにおけるアノテーションの10%のばらつきをペルソナ変数が説明できることがわかった。
  論文  参考訳（メタデータ） (2024-02-16T16:35:35Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Value Kaleidoscope: Engaging AI with Pluralistic Human Values, Rights, and Duties [68.66719970507273]
  価値多元性とは、複数の正しい値が互いに緊張して保持されるという考え方である。 統計的学習者として、AIシステムはデフォルトで平均に適合する。 ValuePrismは、218kの値、権利、義務の大規模なデータセットで、31kの人間が記述した状況に関連付けられています。
  論文  参考訳（メタデータ） (2023-09-02T01:24:59Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)
• Fine-tuning language models to find agreement among humans with diverse preferences [7.702628192754256]
  大規模言語モデリング(LLM)における最近の研究は、出力をプロトタイプユーザの好みに合わせるために微調整を用いている。 ここでは、多様な視点を持つ人々が合意を見つけるのに、マシンがどのように役立つかを検討する。 我々は、潜在的に多様な意見を持つ人々のグループの期待された承認を最大化するステートメントを生成するために、700億のパラメータLSMを微調整する。 グループメンバーのサブセットのみからの合意文を静かに構築すると、除外されたメンバーは反対する傾向にあった。
  論文  参考訳（メタデータ） (2022-11-28T02:24:14Z)
• Dialogue Response Ranking Training with Large-Scale Human Feedback Data [52.12342165926226]
  ソーシャルメディアのフィードバックデータを利用して、フィードバック予測のための大規模なトレーニングデータセットを構築します。 我々は,1300万対の人間のフィードバックデータに基づくGPT-2モデルであるDialogRPTを訓練した。 我々のランキングは、Redditのフィードバックを予測する上で、従来のダイアログの難易度ベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-15T10:50:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。