論文の概要: ChOiRe: Characterizing and Predicting Human Opinions with Chain of
Opinion Reasoning
- arxiv url: http://arxiv.org/abs/2311.08385v2
- Date: Wed, 15 Nov 2023 16:40:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 12:40:21.819530
- Title: ChOiRe: Characterizing and Predicting Human Opinions with Chain of
Opinion Reasoning
- Title(参考訳): 合唱団:意見の連鎖による人間の意見の特徴づけと予測
- Authors: Xuan Long Do, Kenji Kawaguchi, Min-Yen Kan, Nancy F. Chen
- Abstract要約: ChOiReは、人間の意見を予測するための4段階のソリューションフレームワークである。
ユーザの明示的なペルソナと、ユーザの歴史的な意見から推測される暗黙的なペルソナを区別する。
ChOiReは、限られた推論呼び出しで、最先端の新たな有効性を実現する。
- 参考スコア(独自算出の注目度): 74.75098542431621
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Aligning language models (LMs) with human opinion is challenging yet vital to
enhance their grasp of human values, preferences, and beliefs. We present
ChOiRe, a four-step solution framework to predict human opinion that
differentiates between the user explicit personae (i.e. demographic or
ideological attributes) that are manually declared and implicit personae
inferred from user historical opinions. Specifically, it consists of (i) an LM
analyzing the user explicit personae to filter out irrelevant attributes; (ii)
the LM ranking the implicit persona opinions into a preferential list; (iii)
Chain-of-Opinion (CoO) reasoning, where the LM sequentially analyzes the
explicit personae and the most relevant implicit personae to perform opinion
prediction; (iv) and where ChOiRe executes Step (iii) CoO multiple times with
increasingly larger lists of implicit personae to overcome insufficient
personae information to infer a final result. ChOiRe achieves new
state-of-the-art effectiveness with limited inference calls, improving previous
LLM-based techniques significantly by 3.22%.
- Abstract(参考訳): 人間の意見による言語モデル(LM)の調整は、人間の価値観、嗜好、信念の把握を高めるために不可欠である。
筆者らは, ユーザの明示的な人格(人口的・イデオロギー的属性)と, ユーザの歴史的意見から推測される暗黙的な人格とを区別した, 人間の意見を予測する4段階の枠組みであるChOiReを提案する。
具体的には
(i)ユーザの明示的な人格を分析し、無関係な属性をフィルターするlm
二 暗黙のペルソナの意見を優先リストにランク付けすること。
(iii)チェーン・オブ・オピニオン(coo)の推論。lmは、明示的な人格及び最も関連する暗黙の人格を順次分析し、意見の予測を行う。
(iv)ChOiReがStepを実行する場所
(iii) 人格情報の不足を克服して最終結果を推測するために、暗黙の人格の一覧をますます大きくして何度もcooする。
ChOiReは、限られた推論呼び出しで新しい最先端の有効性を実現し、従来のLCMベースの技術を3.22%大幅に改善した。
関連論文リスト
- Large Language Models Assume People are More Rational than We Really are [10.857040292234984]
AIが人と効果的にコミュニケーションするためには、意思決定の仕方を理解する必要があります。
以前の実証的な証拠は、これらの暗黙のモデルが正確であることを示唆しているようである。
人々の選択をシミュレートし、予測する場合は、実際にはそうではありません。
論文 参考訳(メタデータ) (2024-06-24T18:15:27Z) - Evaluating Large Language Model Biases in Persona-Steered Generation [26.92498998306013]
大規模な言語モデル (LLM) は、不連続な人格に対して、連続した人格よりも9.7%少ないことが示される。
強化学習(Reinforcement Learning from Human Feedback, RLHF)により微調整されたモデルは、特に政治的リベラル派や女性に関連するスタンスに対して、より安定している。
論文 参考訳(メタデータ) (2024-05-30T17:06:03Z) - Large Language Models Show Human-like Social Desirability Biases in Survey Responses [12.767606361552684]
人格評価が推定された場合,Large Language Models (LLMs) が特徴次元の望ましい端に向かってスコアを歪めていることを示す。
このバイアスは、GPT-4/3.5、Claude 3、Llama 3、PaLM-2を含む全ての試験モデルに存在する。
すべての質問のリバースコーディングはバイアスレベルを低下させるが、それらを取り除くことはできず、この効果はアクセプションバイアスによるものではないことを示唆している。
論文 参考訳(メタデータ) (2024-05-09T19:02:53Z) - Dissecting Human and LLM Preferences [80.55271307662365]
人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。
GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。
嗜好に基づく評価は意図的に操作可能であることを示す。
論文 参考訳(メタデータ) (2024-02-17T14:34:31Z) - Quantifying the Persona Effect in LLM Simulations [25.367927300697424]
大規模言語モデル(LLM)は、人間の言語と振る舞いをシミュレートする際、顕著な可能性を示してきた。
本研究では,パーソナ変数のデコグラフィ,社会的,行動的要因の統合がLLMの多様な視点をシミュレートする能力にどのように影響するかを検討する。
既存の主観的NLPデータセットにおけるアノテーションの10%のばらつきをペルソナ変数が説明できることがわかった。
論文 参考訳(メタデータ) (2024-02-16T16:35:35Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳(メタデータ) (2023-11-14T18:59:15Z) - Value Kaleidoscope: Engaging AI with Pluralistic Human Values, Rights, and Duties [68.66719970507273]
価値多元性とは、複数の正しい値が互いに緊張して保持されるという考え方である。
統計的学習者として、AIシステムはデフォルトで平均に適合する。
ValuePrismは、218kの値、権利、義務の大規模なデータセットで、31kの人間が記述した状況に関連付けられています。
論文 参考訳(メタデータ) (2023-09-02T01:24:59Z) - Training Language Models with Language Feedback at Scale [50.70091340506957]
我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。
ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。
理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
論文 参考訳(メタデータ) (2023-03-28T17:04:15Z) - Fine-tuning language models to find agreement among humans with diverse
preferences [7.702628192754256]
大規模言語モデリング(LLM)における最近の研究は、出力をプロトタイプユーザの好みに合わせるために微調整を用いている。
ここでは、多様な視点を持つ人々が合意を見つけるのに、マシンがどのように役立つかを検討する。
我々は、潜在的に多様な意見を持つ人々のグループの期待された承認を最大化するステートメントを生成するために、700億のパラメータLSMを微調整する。
グループメンバーのサブセットのみからの合意文を静かに構築すると、除外されたメンバーは反対する傾向にあった。
論文 参考訳(メタデータ) (2022-11-28T02:24:14Z) - Dialogue Response Ranking Training with Large-Scale Human Feedback Data [52.12342165926226]
ソーシャルメディアのフィードバックデータを利用して、フィードバック予測のための大規模なトレーニングデータセットを構築します。
我々は,1300万対の人間のフィードバックデータに基づくGPT-2モデルであるDialogRPTを訓練した。
我々のランキングは、Redditのフィードバックを予測する上で、従来のダイアログの難易度ベースラインよりも優れています。
論文 参考訳(メタデータ) (2020-09-15T10:50:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。