論文の概要: Out of One, Many: Using Language Models to Simulate Human Samples
- arxiv url: http://arxiv.org/abs/2209.06899v1
- Date: Wed, 14 Sep 2022 19:53:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-16 12:05:53.348480
- Title: Out of One, Many: Using Language Models to Simulate Human Samples
- Title(参考訳): 言語モデルを使って人間のサンプルをシミュレートします
- Authors: Lisa P. Argyle, Ethan C. Busby, Nancy Fulda, Joshua Gubler,
Christopher Rytting, David Wingate
- Abstract要約: このようなツール(GPT-3言語モデル)の「アルゴリズムバイアス」は、粒度と人口統計学的に相関していることを示す。
我々は、実際の人間の参加者から何千もの社会デマトグラフィーのバックストリーにモデルを条件付けることで「シリコンサンプル」を作成します。
- 参考スコア(独自算出の注目度): 3.278541277919869
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We propose and explore the possibility that language models can be studied as
effective proxies for specific human sub-populations in social science
research. Practical and research applications of artificial intelligence tools
have sometimes been limited by problematic biases (such as racism or sexism),
which are often treated as uniform properties of the models. We show that the
"algorithmic bias" within one such tool -- the GPT-3 language model -- is
instead both fine-grained and demographically correlated, meaning that proper
conditioning will cause it to accurately emulate response distributions from a
wide variety of human subgroups. We term this property "algorithmic fidelity"
and explore its extent in GPT-3. We create "silicon samples" by conditioning
the model on thousands of socio-demographic backstories from real human
participants in multiple large surveys conducted in the United States. We then
compare the silicon and human samples to demonstrate that the information
contained in GPT-3 goes far beyond surface similarity. It is nuanced,
multifaceted, and reflects the complex interplay between ideas, attitudes, and
socio-cultural context that characterize human attitudes. We suggest that
language models with sufficient algorithmic fidelity thus constitute a novel
and powerful tool to advance understanding of humans and society across a
variety of disciplines.
- Abstract(参考訳): 本研究では, 社会科学研究において, 特定の人間集団に対する効果的なプロキシとして言語モデルが研究できる可能性を提案し, 検討する。
人工知能ツールの実践的および研究的な応用は、しばしばモデルの均一性として扱われる問題バイアス(人種差別や性差別など)によって制限されている。
このようなツール(GPT-3言語モデル)の「アルゴリズムバイアス」は、その代わりに粒度と人口統計学的に相関があることを示し、適切な条件付けによって、様々な人間のサブグループからの応答分布を正確にエミュレートする。
我々はこの性質を「algorithmic fidelity」と呼び、gpt-3でその範囲を探究する。
我々は,米国における大規模調査において,実際の人間による数千の社会デマトグラフィー・バックストリーをモデルとして「シリコン・サンプル」を作成する。
そして、シリコンと人間のサンプルを比較して、GPT-3に含まれる情報が表面の類似性を超えていることを示す。
それはニュアンス的で多面的であり、人間の態度を特徴づける思想、態度、社会文化的文脈の間の複雑な相互作用を反映している。
そこで我々は,アルゴリズムの忠実度が十分である言語モデルが,様々な分野にわたる人間や社会の理解を深める新しい強力なツールとなることを示唆した。
関連論文リスト
- Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a
Large Language Model Based on Group-Level Demographic Information [15.435605802794408]
大規模言語モデルは、人口統計情報に関連する社会的バイアスを示す。
人口サブグループの意見をエミュレートする「ランダムシリコンサンプリング」を提案する。
言語モデルは、実際のアメリカの世論調査と非常によく似た応答分布を生成できる。
論文 参考訳(メタデータ) (2024-02-28T08:09:14Z) - Large language models as probes into latent psychology [0.0]
言語モデルはフレキシブルなシミュレーションツールとして受け入れられるべきである、と私たちは主張する。
モデル自体が人間の心と同一視される、あるいは人為的な形態化されてはならない。
論文 参考訳(メタデータ) (2024-02-06T23:28:23Z) - Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [53.7168869241458]
現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。
しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。
より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか?
本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
論文 参考訳(メタデータ) (2023-10-20T03:33:36Z) - Sensitivity, Performance, Robustness: Deconstructing the Effect of
Sociodemographic Prompting [64.80538055623842]
社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。
ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
論文 参考訳(メタデータ) (2023-09-13T15:42:06Z) - Using Artificial Populations to Study Psychological Phenomena in Neural
Models [0.0]
言語モデルにおける認知行動の調査は、意味のある結果を得るために適切な集団で行う必要がある。
我々は、実験集団を効率的に構築するために、新しいアプローチにおける不確実性推定の作業を活用する。
本研究では,不確実性推定文献の理論的根拠と,言語モデルに関する現在の認知作業からのモチベーションを提供する。
論文 参考訳(メタデータ) (2023-08-15T20:47:51Z) - Exposing Bias in Online Communities through Large-Scale Language Models [3.04585143845864]
この研究は、言語モデルにおけるバイアスの欠陥を使用して、6つの異なるオンラインコミュニティのバイアスを調査します。
得られたモデルのバイアスは、異なる人口層を持つモデルに促し、これらの世代における感情と毒性の値を比較することで評価される。
この作業は、トレーニングデータからバイアスがどの程度容易に吸収されるかを確認するだけでなく、さまざまなデータセットやコミュニティのバイアスを特定し比較するためのスケーラブルな方法も提示する。
論文 参考訳(メタデータ) (2023-06-04T08:09:26Z) - Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural
Language Generation [68.9440575276396]
この調査は、人間のフィードバックを利用して自然言語生成を改善した最近の研究の概要を提供することを目的としている。
まず、フィードバックの形式化を包括的に導入し、この形式化に続いて既存の分類学研究を特定・整理する。
第二に、フィードバックを形式や目的によってどのように記述するかを議論し、フィードバック(トレーニングやデコード)を直接使用したり、フィードバックモデルをトレーニングしたりするための2つのアプローチについて取り上げる。
第3に、AIフィードバックの生まれたばかりの分野の概要を紹介します。これは、大きな言語モデルを利用して、一連の原則に基づいて判断し、必要最小限にします。
論文 参考訳(メタデータ) (2023-05-01T17:36:06Z) - Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。
我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。
我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
論文 参考訳(メタデータ) (2023-03-20T19:32:49Z) - Estimating the Personality of White-Box Language Models [0.589889361990138]
大規模なテキストコーパスで訓練された大規模言語モデルは、至る所で広範囲のアプリケーションで使用されている。
既存の研究は、これらのモデルが人間の偏見を捉え、捉えていることを示している。
これらのバイアス、特に害を引き起こす可能性のあるバイアスの多くは、十分に調査されている。
しかし、これらのモデルによって受け継がれた人間の性格特性を推測し、変化させる研究は、ほとんど、あるいは存在しない。
論文 参考訳(メタデータ) (2022-04-25T23:53:53Z) - DIME: Fine-grained Interpretations of Multimodal Models via Disentangled
Local Explanations [119.1953397679783]
我々は,マルチモーダルモデルの解釈における最先端化に注力する。
提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
論文 参考訳(メタデータ) (2022-03-03T20:52:47Z) - Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。
テキスト生成における社会的バイアスを軽減するためのステップを提案する。
我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
論文 参考訳(メタデータ) (2021-06-24T17:52:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。