論文の概要: Are Stereotypes Leading LLMs' Zero-Shot Stance Detection ?

• arxiv url: http://arxiv.org/abs/2510.20154v1
• Date: Thu, 23 Oct 2025 03:05:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:17.222957
• Title: Are Stereotypes Leading LLMs' Zero-Shot Stance Detection ?
• Title（参考訳）: LLMをリードするステレオタイプはゼロショットスタンス検出か?
• Authors: Anthony Dubreuil, Antoine Gourru, Christine Largeron, Amine Trabelsi,
• Abstract要約: 大規模言語モデルは、事前訓練されたデータからステレオタイプを継承し、特定の社会グループに対して偏見のある行動をもたらす。 本稿では,ゼロショット環境でスタンス検出を行う場合の大規模言語モデルのバイアスに着目した。 LLMは、文章の複雑さの低いマリファナの見方と、ドナルド・トランプに反対するアフリカ系アメリカ人の方言とを誤って関連付けるなど、スタンス検出タスクにおいて重要なステレオタイプを示すことを示す。
• 参考スコア（独自算出の注目度）: 4.861653297482551
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models inherit stereotypes from their pretraining data, leading to biased behavior toward certain social groups in many Natural Language Processing tasks, such as hateful speech detection or sentiment analysis. Surprisingly, the evaluation of this kind of bias in stance detection methods has been largely overlooked by the community. Stance Detection involves labeling a statement as being against, in favor, or neutral towards a specific target and is among the most sensitive NLP tasks, as it often relates to political leanings. In this paper, we focus on the bias of Large Language Models when performing stance detection in a zero-shot setting. We automatically annotate posts in pre-existing stance detection datasets with two attributes: dialect or vernacular of a specific group and text complexity/readability, to investigate whether these attributes influence the model's stance detection decisions. Our results show that LLMs exhibit significant stereotypes in stance detection tasks, such as incorrectly associating pro-marijuana views with low text complexity and African American dialect with opposition to Donald Trump.
• Abstract（参考訳）: 大規模言語モデルは、事前訓練されたデータからステレオタイプを継承し、ヘイトフルスピーチの検出や感情分析など、多くの自然言語処理タスクにおいて特定の社会グループに対する偏りのある振る舞いをもたらす。 驚いたことに、姿勢検出手法におけるこの種のバイアスの評価は、コミュニティによって大きく見過ごされている。 スタンス検出は、ある声明を特定の目標に対して反対、好ましくない、あるいは中立であるとラベル付けすることを含み、政治的傾きにしばしば関係しているため、最も敏感なNLPタスクの1つである。 本稿では,ゼロショット環境でスタンス検出を行う場合の大規模言語モデルのバイアスに着目した。 これらの属性がモデルの姿勢検出決定に影響を及ぼすかどうかを調べるため、既存の姿勢検出データセットに、特定のグループの方言または頂点と、テキストの複雑さ/可読性という2つの属性で自動的に投稿を注釈付けする。 以上の結果から,LLMは,文章の複雑さの低いマリンファナ・ビューや,ドナルド・トランプに反対するアフリカ系アメリカ人の方言など,スタンス検出タスクにおいて重要なステレオタイプを示すことが明らかとなった。

関連論文リスト

• Who Speaks Matters: Analysing the Influence of the Speaker's Ethnicity on Hate Classification [7.014381169870851]
  大規模言語モデル(LLM)は、ヘイトスピーチ検出を含むスケーラブルなコンテンツモデレーションに対して、有望な約束を提供する。 また、村落や方言に対して脆弱で偏見があることも知られている。 そのためには、ヘイトスピーチ検出などの高度なタスクを批判的に精査する必要がある。
  論文  参考訳（メタデータ） (2024-10-27T16:06:24Z)
• Human and LLM Biases in Hate Speech Annotations: A Socio-Demographic Analysis of Annotators and Targets [0.6918368994425961]
  我々は、アノテータとターゲットの両方の社会デマトグラフィー情報を豊富なデータセットで活用する。 分析の結果,その強度と有病率に基づいて定量的に記述し,特徴付ける広範囲なバイアスの存在が明らかになった。 私たちの研究は、ヘイトスピーチアノテーションにおける人間のバイアスに関する新しい、そして、AI駆動のヘイトスピーチ検出システムの設計に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-10T14:48:57Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
  本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。 言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。 本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
  論文  参考訳（メタデータ） (2022-01-15T20:48:14Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Exploiting Multi-Object Relationships for Detecting Adversarial Attacks in Complex Scenes [51.65308857232767]
  ディープニューラルネットワーク(DNN)をデプロイするビジョンシステムは、敵の例に弱いことが知られている。 近年の研究では、入力データの固有成分のチェックは、敵攻撃を検出するための有望な方法であることが示された。 言語モデルを用いてコンテキスト整合性チェックを行う新しい手法を開発した。
  論文  参考訳（メタデータ） (2021-08-19T00:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。