論文の概要: BEADs: Bias Evaluation Across Domains

• arxiv url: http://arxiv.org/abs/2406.04220v4
• Date: Tue, 24 Dec 2024 15:08:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:53:32.694134
• Title: BEADs: Bias Evaluation Across Domains
• Title（参考訳）: BEAD: ドメイン間のバイアス評価
• Authors: Shaina Raza, Mizanur Rahman, Michael R. Zhang,
• Abstract要約: Bias Evaluations Across Domains BEADsデータセットは、幅広いNLPタスクをサポートするように設計されています。 本論文の重要な焦点は,GPT4でアノテートされたゴールドラベルデータセットである。 この結果から,BEADは,このデータセットを微調整した場合に,多くのバイアスを効果的に識別できることが示唆された。
• 参考スコア（独自算出の注目度）: 9.19312529999677
• License:
• Abstract: Recent advancements in large language models (LLMs) have greatly enhanced natural language processing (NLP) applications. Nevertheless, these models often inherit biases from their training data. Despite the availability of various datasets for bias detection, most are limited to one or two NLP tasks (typically classification or evaluation) and lack comprehensive evaluations across a broader range of NLP tasks. To address this gap, we introduce the Bias Evaluations Across Domains BEADs dataset, designed to support a wide array of NLP tasks, including text classification, token classification, bias quantification, and benign language generation. A key focus of this paper is the gold label dataset that is annotated by GPT4 for scalabilty and verified by experts to ensure high reliability. BEADs provides data for both fine-tuning, including classification and language generation tasks, and for evaluating LLMs. Our findings indicate that BEADs effectively identifies numerous biases when fine-tuned on this dataset. It also reduces biases when used for fine-tuning language generation task, while preserving language quality. The results also reveal some prevalent demographic biases in LLMs when BEADs is used for evaluation in demographic task. We provide the BEADs dataset for detecting biases in various domains, and this dataset is readily usable for responsible AI development and application. The dataset can be accessed at https://huggingface.co/datasets/shainar/BEAD .
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、自然言語処理(NLP)アプリケーションを大幅に強化している。 それでも、これらのモデルはトレーニングデータからバイアスを継承することが多い。 バイアス検出のための様々なデータセットが利用可能であるにもかかわらず、ほとんどの場合、1つまたは2つのNLPタスク(典型的には分類または評価)に限定され、幅広いNLPタスクにわたって包括的な評価が欠けている。 このギャップに対処するために、テキスト分類、トークン分類、バイアス定量化、良言語生成を含む幅広いNLPタスクをサポートするために設計されたBias Evaluations Across Domains BEADsデータセットを紹介します。 本論文の重要な焦点は,GPT4でアノテートされたゴールドラベルデータセットであり,高い信頼性を確保するために専門家によって検証されている。 BEADsは、分類と言語生成タスクを含む微調整とLLMの評価の両方にデータを提供する。 この結果から,BEADは,このデータセットを微調整した場合に,多くのバイアスを効果的に識別できることが示唆された。 また、言語品質を保ちながら、微調整の言語生成タスクに使用する際のバイアスを低減する。 以上の結果から, BEADが人口動態評価に使用される場合, LLMの人口統計学的バイアスが顕著であることが明らかとなった。 様々な領域のバイアスを検出するためにBEADデータセットを提供しており、このデータセットはAI開発と応用の責任を負うために容易に利用できる。 データセットはhttps://huggingface.co/datasets/shainar/BEAD でアクセスできる。

関連論文リスト

• Mitigating Biases to Embrace Diversity: A Comprehensive Annotation Benchmark for Toxic Language [0.0]
  本研究では、人文科学研究に基礎を置く規範的ベンチマークを導入し、攻撃的言語の一貫性のないラベル付けを確実にする。 我々は、人間と言語モデル(LLM)アノテーションのアノテーション間のより高いアノテータ合意を達成するために、2つの新しいアノテートデータセットをコントリビュートする。
  論文  参考訳（メタデータ） (2024-10-17T08:10:24Z)
• GUS-Net: Social Bias Classification in Text with Generalizations, Unfairness, and Stereotypes [2.2162879952427343]
  本稿では,バイアス検出の革新的なアプローチであるGAS-Netを紹介する。 GUS-Netは、(G)エナラライゼーション、(U)nfairness、(S)tereotypesの3つの重要な種類のバイアスに焦点を当てている。 本手法は,事前学習したモデルの文脈エンコーディングを組み込むことにより,従来のバイアス検出手法を強化する。
  論文  参考訳（メタデータ） (2024-10-10T21:51:22Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Investigating Annotator Bias in Large Language Models for Hate Speech Detection [5.589665886212444]
  本稿では,ヘイトスピーチデータに注釈をつける際に,Large Language Models (LLMs) に存在するバイアスについて考察する。 具体的には、これらのカテゴリ内の非常に脆弱なグループを対象として、アノテータバイアスを分析します。 我々は,この研究を行うために,独自のヘイトスピーチ検出データセットであるHateBiasNetを紹介した。
  論文  参考訳（メタデータ） (2024-06-17T00:18:31Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットにおけるNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Improving Domain-Specific Retrieval by NLI Fine-Tuning [64.79760042717822]
  本稿では、自然言語推論(NLI)データの微調整の可能性を調べ、情報検索とランキングを改善する。 コントラスト損失とNLIデータを利用した教師あり手法により細調整された単言語文エンコーダと多言語文エンコーダを併用する。 この結果から,NLIの微調整によりタスクおよび言語間のモデルの性能が向上し,単言語モデルと多言語モデルが改良される可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-06T12:40:58Z)
• Large Language Model as Attributed Training Data Generator: A Tale of Diversity and Bias [92.41919689753051]
  大規模言語モデル(LLM)は、最近、様々な自然言語処理(NLP)タスクのためのトレーニングデータジェネレータとして活用されている。 本稿では,多様な属性を持つプロンプトを用いたトレーニングデータ生成について検討する。 属性付きプロンプトは、結果のモデルの性能の観点から、単純なクラス条件プロンプトより優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-28T03:31:31Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• Automatically Identifying Semantic Bias in Crowdsourced Natural Language Inference Datasets [78.6856732729301]
  NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。 データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
  論文  参考訳（メタデータ） (2021-12-16T22:49:01Z)
• Training Dynamic based data filtering may not work for NLP datasets [0.0]
  NLPデータセットにおける誤り例を識別するために,AUM(Area Under the Margin)測定値の適用性を検討した。 我々は,NLPデータセットのAUM測定値を用いて誤ラベル付きサンプルをフィルタリングできることを発見したが,同時に,かなりの数の正確なラベル付きポイントを除去した。
  論文  参考訳（メタデータ） (2021-09-19T18:50:45Z)
• Detecting ESG topics using domain-specific language models and data augmentation approaches [3.3332986505989446]
  金融分野における自然言語処理タスクは、適切にラベル付けされたデータのあいまいさのため、依然として困難なままである。 本稿では,これらの問題を緩和するための2つのアプローチについて検討する。 まず、ビジネスおよび財務ニュースから大量のドメイン内データを用いて、さらなる言語モデルの事前学習実験を行う。 次に、モデル微調整のためのデータセットのサイズを増やすために拡張アプローチを適用します。
  論文  参考訳（メタデータ） (2020-10-16T11:20:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。