論文の概要: Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a
Large Language Model Based on Group-Level Demographic Information
- arxiv url: http://arxiv.org/abs/2402.18144v1
- Date: Wed, 28 Feb 2024 08:09:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 15:58:44.116309
- Title: Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a
Large Language Model Based on Group-Level Demographic Information
- Title（参考訳）: ランダムシリコンサンプリング:グループレベルの人口統計情報に基づく大規模言語モデルを用いた人集団評価のシミュレーション
- Authors: Seungjong Sun, Eungu Lee, Dongyan Nan, Xiangying Zhao, Wonbyung Lee,
Bernard J. Jansen, Jang Hyun Kim
- Abstract要約: 大規模言語モデルは、人口統計情報に関連する社会的バイアスを示す。
人口サブグループの意見をエミュレートする「ランダムシリコンサンプリング」を提案する。
言語モデルは、実際のアメリカの世論調査と非常によく似た応答分布を生成できる。
- 参考スコア（独自算出の注目度）: 15.435605802794408
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models exhibit societal biases associated with demographic
information, including race, gender, and others. Endowing such language models
with personalities based on demographic data can enable generating opinions
that align with those of humans. Building on this idea, we propose "random
silicon sampling," a method to emulate the opinions of the human population
sub-group. Our study analyzed 1) a language model that generates the survey
responses that correspond with a human group based solely on its demographic
distribution and 2) the applicability of our methodology across various
demographic subgroups and thematic questions. Through random silicon sampling
and using only group-level demographic information, we discovered that language
models can generate response distributions that are remarkably similar to the
actual U.S. public opinion polls. Moreover, we found that the replicability of
language models varies depending on the demographic group and topic of the
question, and this can be attributed to inherent societal biases in the models.
Our findings demonstrate the feasibility of mirroring a group's opinion using
only demographic distribution and elucidate the effect of social biases in
language models on such simulations.
- Abstract（参考訳）: 大規模な言語モデルは、人種、性別など、人口統計情報に関連する社会バイアスを示す。
このような言語モデルに人口統計データに基づくパーソナリティーを内在させることで、人間と一致した意見を生成することができる。
この考え方に基づき,人口サブグループの意見をエミュレートする手法である「ランダムシリコンサンプリング」を提案する。
私たちの研究は
1)人口分布のみに基づく人間集団に対応するサーベイ応答を生成する言語モデルと、
2)本手法の適用性は,様々な階層的サブグループとテーマ的質問にまたがる。
ランダムなシリコンサンプリングとグループレベルの人口統計情報のみを用いて、言語モデルが実際のアメリカの世論調査と著しく類似した応答分布を生成できることを発見した。
さらに, 言語モデルの再現性は, 質問の分類群や話題によって異なり, モデル内固有の社会バイアスに起因する可能性があることを見出した。
本研究は, 集団分布のみを用いて集団の意見を反映し, 言語モデルにおける社会的バイアスの影響を明らかにすることを可能にする。
関連論文リスト
- Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。
多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。
これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文 参考訳（メタデータ） (2024-08-14T16:55:06Z) - A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors [50.046717886067555]
一致した言語モデルからコーパスをサンプリングする場合,文字列の平均報酬と平均ログ類似度との間にはトレードオフが存在することを示す。
我々は、この現象を形式的に処理し、サンプリングアダプタの選択が、どれだけの確率で報酬を交換できるかを選択できるかを実証する。
論文 参考訳（メタデータ） (2024-06-14T17:38:21Z) - Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。
多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。
以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
論文 参考訳（メタデータ） (2024-01-29T12:02:28Z) - On the steerability of large language models toward data-driven personas [98.9138902560793]
大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。
本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T19:01:13Z) - Generative Language Models Exhibit Social Identity Biases [17.307292780517653]
56大言語モデルにおいて,内集団の連帯性と外集団の敵意,基本的社会的アイデンティティバイアスが存在するか否かを検討する。
ほぼすべての基礎言語モデルといくつかの命令微調整モデルは、文の完全化を促すと、明らかな非群陽性および非群陰性な関連を示す。
現代の言語モデルは,人間と同等の社会的アイデンティティバイアスを示すことが示唆された。
論文 参考訳（メタデータ） (2023-10-24T13:17:40Z) - Toward responsible face datasets: modeling the distribution of a
disentangled latent space for sampling face images from demographic groups [0.0]
近年、一部の現代の顔認識システムが特定の人口集団を識別できることが明らかにされている。
そこで我々は,StyleGANラテント空間の非交叉射影をモデル化し,サンプリングするための簡単な手法を提案する。
実験の結果、人口集団の組み合わせを効果的に合成できることが示され、同一性は元のトレーニングデータセットと異なることがわかった。
論文 参考訳（メタデータ） (2023-09-15T14:42:04Z) - Questioning the Survey Responses of Large Language Models [18.61486375469644]
我々は,米国国勢調査局が確立したアメリカン・コミュニティ・サーベイに基づいて,言語モデルの調査結果を批判的に調査する。
モデル応答は、バイアスの順序付けとラベル付けによって制御され、体系的バイアスの調整後に持続しないモデル間のバリエーションが生じる。
本研究は, モデルによる調査回答を, 個体群と同等に扱うことの注意を喚起するものである。
論文 参考訳（メタデータ） (2023-06-13T17:48:27Z) - Exposing Bias in Online Communities through Large-Scale Language Models [3.04585143845864]
この研究は、言語モデルにおけるバイアスの欠陥を使用して、6つの異なるオンラインコミュニティのバイアスを調査します。
得られたモデルのバイアスは、異なる人口層を持つモデルに促し、これらの世代における感情と毒性の値を比較することで評価される。
この作業は、トレーニングデータからバイアスがどの程度容易に吸収されるかを確認するだけでなく、さまざまなデータセットやコミュニティのバイアスを特定し比較するためのスケーラブルな方法も提示する。
論文 参考訳（メタデータ） (2023-06-04T08:09:26Z) - Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural
Language Generation [68.9440575276396]
この調査は、人間のフィードバックを利用して自然言語生成を改善した最近の研究の概要を提供することを目的としている。
まず、フィードバックの形式化を包括的に導入し、この形式化に続いて既存の分類学研究を特定・整理する。
第二に、フィードバックを形式や目的によってどのように記述するかを議論し、フィードバック(トレーニングやデコード)を直接使用したり、フィードバックモデルをトレーニングしたりするための2つのアプローチについて取り上げる。
第3に、AIフィードバックの生まれたばかりの分野の概要を紹介します。これは、大きな言語モデルを利用して、一連の原則に基づいて判断し、必要最小限にします。
論文 参考訳（メタデータ） (2023-05-01T17:36:06Z) - Out of One, Many: Using Language Models to Simulate Human Samples [3.278541277919869]
このようなツール(GPT-3言語モデル)の「アルゴリズムバイアス」は、粒度と人口統計学的に相関していることを示す。
我々は、実際の人間の参加者から何千もの社会デマトグラフィーのバックストリーにモデルを条件付けることで「シリコンサンプル」を作成します。
論文 参考訳（メタデータ） (2022-09-14T19:53:32Z) - Language Model Evaluation Beyond Perplexity [47.268323020210175]
我々は、言語モデルから生成されたテキストが、訓練された人為的なテキストに存在する統計的傾向を示すかどうかを分析する。
ニューラルネットワークモデルは、考慮された傾向のサブセットのみを学習しているように見えるが、提案された理論分布よりも経験的傾向とより密接に一致している。
論文 参考訳（メタデータ） (2021-05-31T20:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。