論文の概要: Diverse, but Divisive: LLMs Can Exaggerate Gender Differences in Opinion Related to Harms of Misinformation

• arxiv url: http://arxiv.org/abs/2401.16558v1
• Date: Mon, 29 Jan 2024 20:50:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 17:04:16.751342
• Title: Diverse, but Divisive: LLMs Can Exaggerate Gender Differences in Opinion Related to Harms of Misinformation
• Title（参考訳）: 異なるが異なる: LLMは、誤情報に関する意見の性差を誇張できる
• Authors: Terrence Neumann, Sooyong Lee, Maria De-Arteaga, Sina Fazelpour, Matthew Lease
• Abstract要約: 本稿では,多言語モデル(LLM)が誤報の被害を評価する際に,様々なグループの視点を反映できるかどうかを検討する。 TopicMisinfoデータセットには,さまざまなトピックから160件のファクトチェックされたクレームが含まれている。 GPT 3.5-Turboは、経験的に観察された意見の男女差を反映するが、これらの差の程度を増幅する。
• 参考スコア（独自算出の注目度）: 8.066880413153187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The pervasive spread of misinformation and disinformation poses a significant threat to society. Professional fact-checkers play a key role in addressing this threat, but the vast scale of the problem forces them to prioritize their limited resources. This prioritization may consider a range of factors, such as varying risks of harm posed to specific groups of people. In this work, we investigate potential implications of using a large language model (LLM) to facilitate such prioritization. Because fact-checking impacts a wide range of diverse segments of society, it is important that diverse views are represented in the claim prioritization process. This paper examines whether a LLM can reflect the views of various groups when assessing the harms of misinformation, focusing on gender as a primary variable. We pose two central questions: (1) To what extent do prompts with explicit gender references reflect gender differences in opinion in the United States on topics of social relevance? and (2) To what extent do gender-neutral prompts align with gendered viewpoints on those topics? To analyze these questions, we present the TopicMisinfo dataset, containing 160 fact-checked claims from diverse topics, supplemented by nearly 1600 human annotations with subjective perceptions and annotator demographics. Analyzing responses to gender-specific and neutral prompts, we find that GPT 3.5-Turbo reflects empirically observed gender differences in opinion but amplifies the extent of these differences. These findings illuminate AI's complex role in moderating online communication, with implications for fact-checkers, algorithm designers, and the use of crowd-workers as annotators. We also release the TopicMisinfo dataset to support continuing research in the community.
• Abstract（参考訳）: 偽情報の拡散と偽情報の拡散は社会に重大な脅威をもたらす。 プロのファクトチェッカーは、この脅威に対処する上で重要な役割を担いますが、問題の大規模な規模によって、限られたリソースを優先せざるを得ません。 この優先順位付けは、特定のグループに生じる害のリスクの変化など、さまざまな要因を考慮することができる。 本研究では,このような優先順位付けを容易にするために,大規模言語モデル (LLM) を用いる可能性について検討する。 ファクトチェックは社会の多様なセグメントに影響を及ぼすため、多様な見解がクレーム優先プロセスで表現されることが重要である。 本稿では,誤情報の被害を評価する際に,llmが様々なグループの視点を反映できるかどうかについて検討する。 1) 明示的なジェンダー参照によるプロンプトは、社会的関連性に関する米国における意見の性別差をどの程度反映しているか? そして,(2)性中立的プロンプトは,それらの話題に対するジェンダー的視点とどの程度一致しているか? これらの質問を解析するために、TopicMisinfoデータセットを提示し、様々なトピックから160件の事実チェック済みのクレームを含む、主観的知覚とアノテータの人口統計による1600件近い人間のアノテーションを補足した。 GPT 3.5-Turboは,性差と性差を実証的に反映するが,これらの差の程度を増幅する。 これらの発見は、ファクトチェッカー、アルゴリズムデザイナ、アノテータとしてのクラウドワーカーの使用など、オンラインコミュニケーションをモデレートするAIの複雑な役割を浮き彫りにした。 また、コミュニティでの継続的な研究をサポートするために、 topicmisinfoデータセットをリリースします。

関連論文リスト

• The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [58.130894823145205]
  我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。 以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。 DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
  論文  参考訳（メタデータ） (2024-11-06T06:50:50Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• Overview of PerpectiveArg2024: The First Shared Task on Perspective Argument Retrieval [56.66761232081188]
  本稿では,社会における少数派・多数派を代表する年齢,性別,政治的態度など,人口・社会文化(社会)の多様性を包括する新しいデータセットを提案する。 パースペクティビズムを取り入れる上での重大な課題は、特に社会的なプロファイルを明示的に提供せずに、議論のテキストのみに基づくパーソナライズを目指す場合である。 パーソナライズと分極の低減を図るため, パーソナライズを最適化するためには, パーソナライズされた論証検索をブートストラップするが, さらなる研究が不可欠である。
  論文  参考訳（メタデータ） (2024-07-29T03:14:57Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• Think Before You Act: A Two-Stage Framework for Mitigating Gender Bias Towards Vision-Language Tasks [5.123567809055078]
  視覚言語モデル(VLM)における性バイアスは、有害なステレオタイプや差別を強化することができる。 本稿では,ジェンダーバイアスを軽減するためのタスク依存生成フレームワークGAMAを提案する。 物語生成の際、GAMAは全面的だが性的に難解な物語を産み出す。 回答推論の間、GAMAは画像、生成された物語、タスク固有の質問プロンプトを統合し、異なる視覚言語タスクに対する回答を推測する。
  論文  参考訳（メタデータ） (2024-05-27T06:20:58Z)
• Challenging Negative Gender Stereotypes: A Study on the Effectiveness of Automated Counter-Stereotypes [12.704072523930444]
  本研究では,オンラインコミュニケーションにおいて,ジェンダーのステレオタイプに自動的に対抗し,挑戦する11の戦略について検討する。 我々は、AIによるジェンダーベースのカウンターステレオタイプを参加者に提示し、攻撃性、妥当性、そして潜在的有効性を評価するよう依頼する。
  論文  参考訳（メタデータ） (2024-04-18T01:48:28Z)
• A Multilingual Perspective on Probing Gender Bias [0.0]
  ジェンダーバイアスは、性別に基づいて個人を標的とする体系的なネガティブな治療の一形態である。 この論文は、ジェンダーバイアスが言語および言語技術を通してどのように表現されるかというニュアンスについて考察する。
  論文  参考訳（メタデータ） (2024-03-15T21:35:21Z)
• Unveiling Gender Bias in Terms of Profession Across LLMs: Analyzing and Addressing Sociological Implications [0.0]
  この研究は、AI言語モデルにおけるジェンダーバイアスに関する既存の研究を調査し、現在の知識のギャップを特定する。 この結果は,大規模言語モデルのアウトプットに存在する,ジェンダー付き単語関連,言語使用,偏見付き物語に光を当てた。 本稿では,アルゴリズムアプローチやデータ拡張手法など,LSMにおける性別バイアスを低減するための戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:38:45Z)
• Text as Causal Mediators: Research Design for Causal Estimates of Differential Treatment of Social Groups via Language Aspects [7.175621752912443]
  本研究では,社会集団信号の自然的直接的・間接的影響が話者の反応に与える影響を推定するために,観察的(実験的でない)データに対する因果的研究設計を提案する。 本稿では、この枠組みの約束と課題について、アメリカ合衆国最高裁判所の口頭弁論における司法の中断に対する擁護者の性別の影響に関する理論的ケーススタディを通して説明する。
  論文  参考訳（メタデータ） (2021-09-15T19:15:35Z)
• Gender bias in magazines oriented to men and women: a computational approach [58.720142291102135]
  女性指向の雑誌の内容と男性指向の雑誌の内容を比較する。 トピック・モデリングの手法により、雑誌で議論されている主要なテーマを特定し、これらのトピックの存在が時間とともに雑誌間でどの程度異なるかを定量化する。 以上の結果から,セクシュアオブジェクトとしての家族,ビジネス,女性の出現頻度は,時間とともに消失する傾向にあることが示唆された。
  論文  参考訳（メタデータ） (2020-11-24T14:02:49Z)
• Gender Stereotype Reinforcement: Measuring the Gender Bias Conveyed by Ranking Algorithms [68.85295025020942]
  本稿では,性別ステレオタイプをサポートする検索エンジンの傾向を定量化するジェンダーステレオタイプ強化(GSR)尺度を提案する。 GSRは、表現上の害を定量化できる情報検索のための、最初の特別に調整された尺度である。
  論文  参考訳（メタデータ） (2020-09-02T20:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。