論文の概要: Large language models should not replace human participants because they can misportray and flatten identity groups

• arxiv url: http://arxiv.org/abs/2402.01908v2
• Date: Tue, 01 Oct 2024 00:30:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:33:12.057384
• Title: Large language models should not replace human participants because they can misportray and flatten identity groups
• Title（参考訳）: 大規模言語モデルは、個人識別グループを誤って平らにすることができるため、人間の参加者を置き換えるべきではない
• Authors: Angelina Wang, Jamie Morgenstern, John P. Dickerson,
• Abstract要約: 我々は、現在のLLMのトレーニング方法には2つの固有の制限があることを示します。 我々は、LCMが人口集団の表現を誤解し、フラットにする可能性がある理由を分析的に論じる。 また、アイデンティティープロンプトがアイデンティティーを不可欠なものにする方法について、第3の制限についても論じる。
• 参考スコア（独自算出の注目度）: 36.36009232890876
• License:
• Abstract: Large language models (LLMs) are increasing in capability and popularity, propelling their application in new domains -- including as replacements for human participants in computational social science, user testing, annotation tasks, and more. In many settings, researchers seek to distribute their surveys to a sample of participants that are representative of the underlying human population of interest. This means in order to be a suitable replacement, LLMs will need to be able to capture the influence of positionality (i.e., relevance of social identities like gender and race). However, we show that there are two inherent limitations in the way current LLMs are trained that prevent this. We argue analytically for why LLMs are likely to both misportray and flatten the representations of demographic groups, then empirically show this on 4 LLMs through a series of human studies with 3200 participants across 16 demographic identities. We also discuss a third limitation about how identity prompts can essentialize identities. Throughout, we connect each limitation to a pernicious history that explains why it is harmful for marginalized demographic groups. Overall, we urge caution in use cases where LLMs are intended to replace human participants whose identities are relevant to the task at hand. At the same time, in cases where the goal is to supplement rather than replace (e.g., pilot studies), we provide inference-time techniques that we empirically demonstrate do reduce, but do not remove, these harms.
• Abstract（参考訳）: 大規模言語モデル(LLM)は能力と人気が高まり、計算社会科学、ユーザテスト、アノテーションタスクなど、新しい分野への応用を推進している。 多くの状況において、研究者は調査を、基礎となる人間の関心の人口を表す参加者のサンプルに配布しようと試みている。 このことは、適切な代替となるためには、LLMは位置性(ジェンダーや人種のような社会的アイデンティティの関連性)の影響を捉える必要があることを意味する。 しかし、現在のLLMのトレーニング方法には2つの固有の制限があることが示されている。 我々は, LLMが人口集団の表現を誤用し, 平らにする可能性がある理由を分析的に論じるとともに, 16の人口集団の3200人の参加者による一連の研究を通じて, 4つの LLM にこれを実証的に示す。 また、アイデンティティープロンプトがアイデンティティーを不可欠なものにする方法について、第3の制限についても論じる。 全体として、各制限を悪名高い歴史に結び付け、それが人口過疎化グループにとって有害な理由を説明する。 全体としては、LLMが課題に関連のある人物を置き換えることを意図したユースケースに注意を喚起する。 同時に、(パイロットスタディのように)置き換えるよりも補うことを目標とする場合には、実証的に実証した推論タイムのテクニックが、これらの害を軽減しますが、取り除くことはできません。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• Modeling Human Subjectivity in LLMs Using Explicit and Implicit Human Factors in Personas [14.650234624251716]
  大規模言語モデル (LLMs) は、人間中心の社会科学タスクでますます使われている。 これらのタスクは非常に主観的であり、環境、態度、信念、生きた経験など人間的要因に依存している。 我々は,LLMを人間的なペルソナで促進する役割について検討し,モデルに特定の人間であるかのように答えるよう求めた。
  論文  参考訳（メタデータ） (2024-06-20T16:24:07Z)
• Limits of Large Language Models in Debating Humans [0.0]
  大きな言語モデル(LLM)は、人間と熟達して対話する能力において顕著な可能性を示してきた。 本論文は,LLMエージェントを現実の人間と組み合わせた事前登録研究により,現在のLLMの限界を検証しようとする試みである。
  論文  参考訳（メタデータ） (2024-02-06T03:24:27Z)
• How should the advent of large language models affect the practice of science? [51.62881233954798]
  大規模言語モデルの出現は科学の実践にどのように影響を与えるべきか? 我々は4つの科学者グループを招待し、この質問を反映し、彼らの見解を共有し、議論をおこなった。
  論文  参考訳（メタデータ） (2023-12-05T10:45:12Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Queer People are People First: Deconstructing Sexual Identity Stereotypes in Large Language Models [3.974379576408554]
  大規模言語モデル(LLM)は、主に最小処理のWebテキストに基づいて訓練される。 LLMはLGBTQIA+コミュニティのような、疎外されたグループに対して必然的にステレオタイプを永続させることができる。
  論文  参考訳（メタデータ） (2023-06-30T19:39:01Z)
• Marked Personas: Using Natural Language Prompts to Measure Stereotypes in Language Models [33.157279170602784]
  大規模言語モデル(LLM)におけるステレオタイプを測定するプロンプトベースの手法であるMarked Personasを提案する。 GPT-3.5 と GPT-4 が生成する描写は、同じプロンプトを用いた人間による描写よりも、人種的ステレオタイプの割合が高いことが判明した。 交叉レンズは、トロピズムやマイノリティ化された女性のセクシュアル化など、疎遠化されたグループの描写を支配しているトロープを露呈する。
  論文  参考訳（メタデータ） (2023-05-29T16:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。