論文の概要: Detecting Stereotypes and Anti-stereotypes the Correct Way Using Social Psychological Underpinnings

• arxiv url: http://arxiv.org/abs/2504.03352v1
• Date: Fri, 04 Apr 2025 11:14:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:49:49.582281
• Title: Detecting Stereotypes and Anti-stereotypes the Correct Way Using Social Psychological Underpinnings
• Title（参考訳）: 社会心理学的アンピングを用いたステレオタイプとアンチステレオタイプの検出
• Authors: Kaustubh Shivshankar Shejole, Pushpak Bhattacharyya,
• Abstract要約: 本研究では, ステレオタイプ, アンチステレオタイプ, ステレオタイプバイアス, バイアスを区別し, 正確に定義する。 10B未満のパラメータを持つ推論のための言語モデルは、アンチステレオタイプを検出する際に混乱することが多いことを実証する。
• 参考スコア（独自算出の注目度）: 41.09752906121257
• License:
• Abstract: Stereotypes are known to be highly pernicious, making their detection critically important. However, current research predominantly focuses on detecting and evaluating stereotypical biases in LLMs, leaving the study of stereotypes in its early stages. Many studies have failed to clearly distinguish between stereotypes and stereotypical biases, which has significantly slowed progress in advancing research in this area. Stereotype and anti-stereotype detection is a problem that requires knowledge of society; hence, it is one of the most difficult areas in Responsible AI. This work investigates this task, where we propose a four-tuple definition and provide precise terminology distinguishing stereotype, anti-stereotype, stereotypical bias, and bias, offering valuable insights into their various aspects. In this paper, we propose StereoDetect, a high-quality benchmarking dataset curated for this task by optimally utilizing current datasets such as StereoSet and WinoQueer, involving a manual verification process and the transfer of semantic information. We demonstrate that language models for reasoning with fewer than 10B parameters often get confused when detecting anti-stereotypes. We also demonstrate the critical importance of well-curated datasets by comparing our model with other current models for stereotype detection. The dataset and code is available at https://github.com/KaustubhShejole/StereoDetect.
• Abstract（参考訳）: ステレオタイプは非常に悪質であることが知られており、検出が極めて重要である。 しかし、現在の研究は主にLSMのステレオタイプバイアスを検出し評価することに焦点を当てており、初期の段階ではステレオタイプの研究が残されている。 多くの研究は、ステレオタイプとステレオタイプバイアスを明確に区別することができず、この分野の研究の進展を著しく遅らせた。 ステレオタイプとアンチステレオタイプ検出は、社会の知識を必要とする問題である。 そこで本研究では, ステレオタイプ, アンチステレオタイプ, ステレオタイプバイアス, バイアスを区別し, 様々な側面について貴重な知見を提供する。 本稿では,StereoSetやWinoQueerといった現在のデータセットを最適に活用し,手作業による検証処理と意味情報の伝達を取り入れた高品質なベンチマークデータセットであるStereoDetectを提案する。 10Bパラメータ未満の推論のための言語モデルは、アンチステレオタイプを検出する際に混乱することが多いことを実証する。 また,本モデルと他のステレオタイプ検出モデルとの比較により,精度の高いデータセットの重要性を実証する。 データセットとコードはhttps://github.com/KaustubhShejole/StereoDetect.comで公開されている。

関連論文リスト

• Biased or Flawed? Mitigating Stereotypes in Generative Language Models by Addressing Task-Specific Flaws [12.559028963968247]
  生成言語モデルは、しばしば出力の社会的バイアスを反映し増幅します。 生成モデルにおいて観測されたステレオタイプを暗黙的に緩和する目的のステレオタイプ緩和フレームワークを提案する。 複数の次元にわたるステレオタイプ出力を60%以上削減する。
  論文  参考訳（メタデータ） (2024-12-16T03:29:08Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Stereotype Detection in LLMs: A Multiclass, Explainable, and Benchmark-Driven Approach [4.908389661988191]
  本稿では, 性別, 人種, 職業, 宗教, その他のステレオタイプにまたがる51,867の事例からなるMulti-Grain Stereotype (MGS)データセットを提案する。 我々は、さまざまな機械学習アプローチを評価し、異なるアーキテクチャと大きさのベースラインと微調整言語モデルを確立する。 我々は、モデルが学習したパターンがステレオタイプに関する人間の直観と一致するかどうかを評価するために、SHAP、LIME、BertVizを含む説明可能なAI(XAI)ツールを採用する。
  論文  参考訳（メタデータ） (2024-04-02T09:31:32Z)
• Towards Auditing Large Language Models: Improving Text-based Stereotype Detection [5.3634450268516565]
  i) ジェンダー、人種、職業、宗教のステレオタイプテキストの52,751件を含むマルチグラインステレオタイプデータセットを紹介する。 そこで本研究では,新しいデータセットでトレーニングしたモデルについて,厳密に検証する実験を行った。 実験によると、マルチクラスの設定でモデルをトレーニングすることは、すべてのバイナリの1つよりも優れている。
  論文  参考訳（メタデータ） (2023-11-23T17:47:14Z)
• Easily Accessible Text-to-Image Generation Amplifies Demographic Stereotypes at Large Scale [61.555788332182395]
  危険で複雑なステレオタイプを増幅する機械学習モデルの可能性を検討する。 さまざまな通常のプロンプトがステレオタイプを生成しており、それらは単に特性、記述子、職業、オブジェクトに言及するプロンプトを含む。
  論文  参考訳（メタデータ） (2022-11-07T18:31:07Z)
• Reinforcement Guided Multi-Task Learning Framework for Low-Resource Stereotype Detection [3.7223111129285096]
  ステレオタイプ検出」データセットは主に、大規模な事前学習言語モデルに対する診断アプローチを採用している。 信頼できるデータセットに注釈をつけるには、テキストでステレオタイプがどのように現れるかという微妙なニュアンスを正確に理解する必要がある。 我々は「ステレオタイプ検出」における経験的性能を改善するために、データ豊富な隣接タスクの多元性を活用するマルチタスクモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-27T17:16:11Z)
• Pedestrian Detection: Domain Generalization, CNNs, Transformers and Beyond [82.37430109152383]
  その結果、現在の歩行者検知器は、クロスデータセット評価において、たとえ小さな領域シフトであっても処理が不十分であることがわかった。 限定的な一般化は、その方法と現在のデータ源の2つの主要な要因に帰着する。 本稿では、一般化を改善する進歩的な微調整戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-10T06:00:26Z)
• Understanding and Countering Stereotypes: A Computational Approach to the Stereotype Content Model [4.916009028580767]
  ステレオタイプコンテンツモデル(SCM)を用いてテキスト中のステレオタイプを解釈する計算手法を提案する。 SCMは、ステレオタイプは温かさと能力の2つの主要な次元に沿って理解することができると提案している。 反ステレオタイプ的な例によるステレオタイプに対抗することは、偏見的思考を減らす最も効果的な方法の1つであることが知られている。
  論文  参考訳（メタデータ） (2021-06-04T16:53:37Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)
• Generalizable Pedestrian Detection: The Elephant In The Room [82.37430109152383]
  既存の最先端の歩行者検出器は、同じデータセット上でトレーニングやテストを行う際には、非常によく機能するが、データセット間の評価では、十分に一般化されていない。 ウェブをクロールすることで収集される多様で高密度なデータセットは、歩行者検出のための事前学習の効率的な情報源であることを示す。
  論文  参考訳（メタデータ） (2020-03-19T14:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。