論文の概要: Tell Me What You Know About Sexism: Expert-LLM Interaction Strategies and Co-Created Definitions for Zero-Shot Sexism Detection

• arxiv url: http://arxiv.org/abs/2504.15392v1
• Date: Mon, 21 Apr 2025 18:59:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-01 01:45:12.752422
• Title: Tell Me What You Know About Sexism: Expert-LLM Interaction Strategies and Co-Created Definitions for Zero-Shot Sexism Detection
• Title（参考訳）: セクシズムについて知っておくべきこと:ゼロショットセクシズム検出のための専門家とLLMのインタラクション戦略と共同定義
• Authors: Myrthe Reuver, Indira Sen, Matteo Melis, Gabriella Lapesa,
• Abstract要約: 本稿では、性差別研究者と大規模言語モデル(LLM)のハイブリッドインテリジェンスと協調について検討する。 9人の性差別研究者が性差別とLSMの知識について質問に答えている。 その後、LLMを含む2つのインタラクティブな実験に参加する。 第2の実験では、性差別の3つの異なる定義を創りだす。
• 参考スコア（独自算出の注目度）: 10.195336733879431
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper investigates hybrid intelligence and collaboration between researchers of sexism and Large Language Models (LLMs), with a four-component pipeline. First, nine sexism researchers answer questions about their knowledge of sexism and of LLMs. They then participate in two interactive experiments involving an LLM (GPT3.5). The first experiment has experts assessing the model's knowledge about sexism and suitability for use in research. The second experiment tasks them with creating three different definitions of sexism: an expert-written definition, an LLM-written one, and a co-created definition. Lastly, zero-shot classification experiments use the three definitions from each expert in a prompt template for sexism detection, evaluating GPT4o on 2.500 texts sampled from five sexism benchmarks. We then analyze the resulting 67.500 classification decisions. The LLM interactions lead to longer and more complex definitions of sexism. Expert-written definitions on average perform poorly compared to LLM-generated definitions. However, some experts do improve classification performance with their co-created definitions of sexism, also experts who are inexperienced in using LLMs.
• Abstract（参考訳）: 本稿では,性差別と大規模言語モデル(LLM)の研究者によるハイブリッドインテリジェンスと4成分パイプラインの連携について検討する。 まず、9人の性差別研究者が性差別とLSMの知識について質問に答える。 その後、LLM(GPT3.5)を含む2つのインタラクティブな実験に参加する。 最初の実験では、モデルが性差別や研究に使えるかどうかの知識を評価する専門家がいた。 第2の実験では、専門家によって書かれた定義、LSMで書かれた定義、共同創造された定義の3つの異なる性差別の定義を作成する。 最後に、ゼロショット分類実験では、各専門家の3つの定義を性差別検出のプロンプトテンプレートで使用し、5つの性差別ベンチマークからサンプリングされた2.500テキスト上のGPT4oを評価する。 そして67.500の分類結果を分析する。 LLM相互作用は性差別のより長くより複雑な定義をもたらす。 専門家によって書かれた平均的な定義は、LCMの生成した定義と比べて性能が劣る。 しかし、一部の専門家は、共同で作成した性差別の定義によって分類性能を改善し、またLSMの使用に経験の浅い専門家もいる。

関連論文リスト

• MuSeD: A Multimodal Spanish Dataset for Sexism Detection in Social Media Videos [12.555579923843641]
  我々は、TikTokとBitChuteから抽出された11時間分のビデオを$approx$で提供する、性差別検出のための新しいマルチモーダルスペイン語データセットであるMuSeDを紹介した。 視覚情報は、人間とモデルの両方に性差別的コンテンツをラベル付けする上で重要な役割を担っている。
  論文  参考訳（メタデータ） (2025-04-15T13:16:46Z)
• Adaptable Moral Stances of Large Language Models on Sexist Content: Implications for Society and Gender Discourse [17.084339235658085]
  8つのモデルがすべて、理解しやすく、文脈的に関係のあるテキストを生成することを示す。 我々は,性差別的言語を正当化するLLMの誤用の可能性に注意する。
  論文  参考訳（メタデータ） (2024-09-30T19:27:04Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• Bilingual Sexism Classification: Fine-Tuned XLM-RoBERTa and GPT-3.5 Few-Shot Learning [0.7874708385247352]
  本研究の目的は、自然言語処理モデルを活用することにより、バイリンガル文脈(英語とスペイン語)における性差別の識別を改善することである。 我々はXLM-RoBERTaモデルを微調整し、性差別的コンテンツを分類するための数発の学習プロンプトでGPT-3.5を別々に使用した。
  論文  参考訳（メタデータ） (2024-06-11T14:15:33Z)
• White Men Lead, Black Women Help? Benchmarking Language Agency Social Biases in LLMs [58.27353205269664]
  社会的偏見は言語機関に現れることがある。 本稿では,言語庁バイアス評価ベンチマークを紹介する。 我々は,最近の3つのLarge Language Model(LLM)生成コンテンツにおいて,言語エージェンシーの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• Disclosure and Mitigation of Gender Bias in LLMs [64.79319733514266]
  大規模言語モデル(LLM)はバイアス応答を生成することができる。 条件生成に基づく間接探索フレームワークを提案する。 LLMにおける明示的・暗黙的な性バイアスを明らかにするための3つの戦略を探求する。
  論文  参考訳（メタデータ） (2024-02-17T04:48:55Z)
• Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
  大規模言語モデル(LLM)はバイアスと有害な応答を生成する。 本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
  論文  参考訳（メタデータ） (2023-11-01T05:31:46Z)
• "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters [97.11173801187816]
  大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。 本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
  論文  参考訳（メタデータ） (2023-10-13T16:12:57Z)
• SemEval-2023 Task 10: Explainable Detection of Online Sexism [5.542286527528687]
  オンライン性差別(EDOS)の説明可能な検出に関するSemEval Task 10について紹介する。 i)セクシズムの細粒度ベクトルを含むセクシズムコンテンツの新しい階層的分類,i)細粒度ラベルによる2万件のソーシャルメディアコメントデータセット,およびモデル適応のための大きな未ラベルデータセット,iii)ベースラインモデル,および,課題への参加者の提出方法,結果,エラーの分析である。
  論文  参考訳（メタデータ） (2023-03-07T20:28:39Z)
• "Call me sexist, but...": Revisiting Sexism Detection Using Psychological Scales and Adversarial Samples [2.029924828197095]
  我々は、性差別の異なる側面を心理学的尺度でそれらの実践に基礎を置いて概説する。 このスケールから、ソーシャルメディアにおける性差別のためのコードブックを導き、既存のデータセットや新しいデータセットに注釈を付けるために使用します。 結果は、現在の機械学習モデルは、性差別の非常に狭い言語マーカーの集合を拾い上げ、ドメイン外の例にうまく一般化しないことを示唆している。
  論文  参考訳（メタデータ） (2020-04-27T13:07:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。