論文の概要: Higher-Order Binding of Language Model Virtual Personas: a Study on Approximating Political Partisan Misperceptions
- arxiv url: http://arxiv.org/abs/2504.11673v1
- Date: Wed, 16 Apr 2025 00:10:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-17 14:40:07.111507
- Title: Higher-Order Binding of Language Model Virtual Personas: a Study on Approximating Political Partisan Misperceptions
- Title(参考訳): 言語モデル仮想ペルソナの高次バインディング:政治的パルチザンの誤解の近似に関する研究
- Authors: Minwoo Kang, Suhong Moon, Seung Hyeong Lee, Ayush Raj, Joseph Suh, David M. Chan,
- Abstract要約: 大規模言語モデル(LLM)は、人間の振る舞いをシミュレートする能力が高まっている。
本稿では, マルチターンインタビュー文として, 合成ユーザバックストリーを用いた仮想ペルソナ構築手法を提案する。
我々の生成したバックストリーは、より長く、細部が豊富であり、従来の方法と比較して、特定の個人を記述するのに一貫性がある。
- 参考スコア(独自算出の注目度): 4.234771450043289
- License:
- Abstract: Large language models (LLMs) are increasingly capable of simulating human behavior, offering cost-effective ways to estimate user responses during the early phases of survey design. While previous studies have examined whether models can reflect individual opinions or attitudes, we argue that a \emph{higher-order} binding of virtual personas requires successfully approximating not only the opinions of a user as an identified member of a group, but also the nuanced ways in which that user perceives and evaluates those outside the group. In particular, faithfully simulating how humans perceive different social groups is critical for applying LLMs to various political science studies, including timely topics on polarization dynamics, inter-group conflict, and democratic backsliding. To this end, we propose a novel methodology for constructing virtual personas with synthetic user ``backstories" generated as extended, multi-turn interview transcripts. Our generated backstories are longer, rich in detail, and consistent in authentically describing a singular individual, compared to previous methods. We show that virtual personas conditioned on our backstories closely replicate human response distributions (up to an 87\% improvement as measured by Wasserstein Distance) and produce effect sizes that closely match those observed in the original studies. Altogether, our work extends the applicability of LLMs beyond estimating individual self-opinions, enabling their use in a broader range of human studies.
- Abstract(参考訳): 大規模言語モデル(LLM)は、調査設計の初期段階において、ユーザ応答を見積もるコスト効率のよい方法として、人間の振る舞いをシミュレートする能力がますます高まっている。
従来の研究では、モデルが個人の意見や態度を反映できるかどうかを検討したが、仮想人格の‘emph{higher-order} バインディングは、あるグループの特定メンバーとしてのユーザの意見だけでなく、そのユーザがグループ外で知覚し評価するニュアンスな方法も、うまく近似する必要があると論じている。
特に、人類が異なる社会集団をどう知覚するかを忠実にシミュレートすることは、様々な政治科学研究にLLMを適用する上で重要である。
そこで本研究では,マルチターンインタビュー文として生成した合成ユーザ ``backstories' を用いた仮想ペルソナ構築手法を提案する。
我々の生成したバックストリーは、より長く、細部が豊富であり、従来の方法と比較して、特定の個人を記述するのに一貫性がある。
背筋に条件付き仮想人格がヒトの反応分布を密に再現し(ワッサーシュタイン距離が87倍に向上する)、元の研究で観察されたものと密に一致した効果の大きさを生み出すことを示した。
我々の研究は、個人の自尊心を見積もるだけでなく、LLMの適用性も拡張し、より広い範囲の人間の研究での使用を可能にしました。
関連論文リスト
- Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models [26.333097337393685]
ユーザーが大きな言語モデル(LLM)を人為的に形作る傾向は、AI開発者、研究者、政策立案者への関心が高まっている。
本稿では,現実的かつ多様な環境下での人為的 LLM の挙動を実証的に評価する手法を提案する。
まず,14の人為的行動のマルチターン評価を開発する。
次に,ユーザインタラクションのシミュレーションを用いて,スケーラブルで自動化されたアプローチを提案する。
第3に,対話型大規模人体調査(N=1101)を実施し,実際のユーザの人文的知覚を予測するモデル行動を検証する。
論文 参考訳(メタデータ) (2025-02-10T22:09:57Z) - PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。
モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
論文 参考訳(メタデータ) (2024-07-17T08:13:22Z) - Virtual Personas for Language Models via an Anthology of Backstories [5.2112564466740245]
アンソロジー(アンソロジー、Anthology)は、オープン・エンド・ライフ・ナラティブを利用して、大きな言語モデルを特定のバーチャル・ペルソナに調和させる手法である。
本手法は,実験結果の一貫性と信頼性を高めつつ,多様なサブ集団のより良い表現を確実にすることを示す。
論文 参考訳(メタデータ) (2024-07-09T06:11:18Z) - A Survey on Human Preference Learning for Large Language Models [81.41868485811625]
近年の多目的大言語モデル(LLM)の急激な増加は、より有能な基礎モデルと人間の意図を優先学習によって整合させることに大きく依存している。
本調査では、選好フィードバックのソースとフォーマット、選好信号のモデリングと使用、および、整列 LLM の評価について述べる。
論文 参考訳(メタデータ) (2024-06-17T03:52:51Z) - Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment [84.32768080422349]
人間の好みの調整は、大きな言語モデルが誤解を招くか有害なコンテンツを生成するのを防ぐ。
本研究では, 微調整後のLLMの最終性能と線形相関を示唆し, 即時多様性の新たな定式化を提案する。
論文 参考訳(メタデータ) (2024-03-17T07:08:55Z) - On the steerability of large language models toward data-driven personas [98.9138902560793]
大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。
本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T19:01:13Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural
Language Generation [68.9440575276396]
この調査は、人間のフィードバックを利用して自然言語生成を改善した最近の研究の概要を提供することを目的としている。
まず、フィードバックの形式化を包括的に導入し、この形式化に続いて既存の分類学研究を特定・整理する。
第二に、フィードバックを形式や目的によってどのように記述するかを議論し、フィードバック(トレーニングやデコード)を直接使用したり、フィードバックモデルをトレーニングしたりするための2つのアプローチについて取り上げる。
第3に、AIフィードバックの生まれたばかりの分野の概要を紹介します。これは、大きな言語モデルを利用して、一連の原則に基づいて判断し、必要最小限にします。
論文 参考訳(メタデータ) (2023-05-01T17:36:06Z) - Out of One, Many: Using Language Models to Simulate Human Samples [3.278541277919869]
このようなツール(GPT-3言語モデル)の「アルゴリズムバイアス」は、粒度と人口統計学的に相関していることを示す。
我々は、実際の人間の参加者から何千もの社会デマトグラフィーのバックストリーにモデルを条件付けることで「シリコンサンプル」を作成します。
論文 参考訳(メタデータ) (2022-09-14T19:53:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。