Fugu-MT 論文翻訳(概要): BEADs: Bias Evaluation Across Domains

論文の概要: BEADs: Bias Evaluation Across Domains

arxiv url: http://arxiv.org/abs/2406.04220v1
Date: Thu, 6 Jun 2024 16:18:30 GMT
ステータス: 処理完了
システム内更新日: 2024-06-07 13:59:57.827099
Title: BEADs: Bias Evaluation Across Domains
Title（参考訳）: BEAD: ドメイン間のバイアス評価
Authors: Shaina Raza, Mizanur Rahman, Michael R. Zhang,
Abstract要約: 大規模言語モデル(LLM)は、トレーニングデータからバイアスを継承し、永続することができる。我々は、幅広いNLPタスクをサポートするために、BEAD(Bias Evaluations Across Domains)データセットを紹介します。我々の経験的分析は、BEADが異なる言語モデル間でのバイアスの検出と低減に有効であることを示している。
参考スコア（独自算出の注目度）: 9.19312529999677
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Recent improvements in large language models (LLMs) have significantly enhanced natural language processing (NLP) applications. However, these models can also inherit and perpetuate biases from their training data. Addressing this issue is crucial, yet many existing datasets do not offer evaluation across diverse NLP tasks. To tackle this, we introduce the Bias Evaluations Across Domains (BEADs) dataset, designed to support a wide range of NLP tasks, including text classification, bias entity recognition, bias quantification, and benign language generation. BEADs uses AI-driven annotation combined with experts' verification to provide reliable labels. This method overcomes the limitations of existing datasets that typically depend on crowd-sourcing, expert-only annotations with limited bias evaluations, or unverified AI labeling. Our empirical analysis shows that BEADs is effective in detecting and reducing biases across different language models, with smaller models fine-tuned on BEADs often outperforming LLMs in bias classification tasks. However, these models may still exhibit biases towards certain demographics. Fine-tuning LLMs with our benign language data also reduces biases while preserving the models' knowledge. Our findings highlight the importance of comprehensive bias evaluation and the potential of targeted fine-tuning for reducing the bias of LLMs. We are making BEADs publicly available at https://huggingface.co/datasets/shainar/BEAD Warning: This paper contains examples that may be considered offensive.
Abstract（参考訳）: 大規模言語モデル(LLM)の最近の改良は、自然言語処理(NLP)アプリケーションを大幅に強化した。しかし、これらのモデルはトレーニングデータからバイアスを継承し、永続することができる。この問題に対処することは極めて重要ですが、既存のデータセットの多くは、さまざまなNLPタスクに対する評価を提供していません。これを解決するために,テキスト分類,バイアスエンティティ認識,バイアス定量化,良言語生成など,幅広いNLPタスクをサポートするために設計されたBias Evaluations Across Domains(BEADs)データセットを紹介した。 BEADはAI駆動アノテーションと専門家の検証を組み合わせて信頼性のあるラベルを提供する。この方法は、クラウドソーシングや、バイアス評価の制限のある専門家のみのアノテーション、検証されていないAIラベルに依存する既存のデータセットの制限を克服する。我々の経験的分析により、BEADは異なる言語モデル間でのバイアスの検出と低減に有効であることが示された。しかし、これらのモデルは特定の人口層に対する偏見を示す可能性がある。良質な言語データによる微調整LDMは、モデルの知識を保ちながらバイアスを低減します。本研究は, 総合的バイアス評価の重要性と, LLMのバイアス低減を目的とした微調整の可能性を強調した。私たちはBEADをhttps://huggingface.co/datasets/shainar/BEAD Warningで公開しています。

関連論文リスト

Mitigating Biases to Embrace Diversity: A Comprehensive Annotation Benchmark for Toxic Language [0.0]
本研究では、人文科学研究に基礎を置く規範的ベンチマークを導入し、攻撃的言語の一貫性のないラベル付けを確実にする。我々は、人間と言語モデル(LLM)アノテーションのアノテーション間のより高いアノテータ合意を達成するために、2つの新しいアノテートデータセットをコントリビュートする。
論文参考訳（メタデータ） (2024-10-17T08:10:24Z)
GUS-Net: Social Bias Classification in Text with Generalizations, Unfairness, and Stereotypes [2.2162879952427343]
本稿では,バイアス検出の革新的なアプローチであるGAS-Netを紹介する。 GUS-Netは、(G)エナラライゼーション、(U)nfairness、(S)tereotypesの3つの重要な種類のバイアスに焦点を当てている。本手法は,事前学習したモデルの文脈エンコーディングを組み込むことにより,従来のバイアス検出手法を強化する。
論文参考訳（メタデータ） (2024-10-10T21:51:22Z)
CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
論文参考訳（メタデータ） (2024-07-02T16:31:37Z)
Investigating Annotator Bias in Large Language Models for Hate Speech Detection [5.589665886212444]
本稿では,ヘイトスピーチデータに注釈をつける際に,Large Language Models (LLMs) に存在するバイアスについて考察する。具体的には、これらのカテゴリ内の非常に脆弱なグループを対象として、アノテータバイアスを分析します。我々は,この研究を行うために,独自のヘイトスピーチ検出データセットであるHateBiasNetを紹介した。
論文参考訳（メタデータ） (2024-06-17T00:18:31Z)
Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。方言データセットにおけるNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
論文参考訳（メタデータ） (2024-01-11T03:04:38Z)
Improving Domain-Specific Retrieval by NLI Fine-Tuning [64.79760042717822]
本稿では、自然言語推論(NLI)データの微調整の可能性を調べ、情報検索とランキングを改善する。コントラスト損失とNLIデータを利用した教師あり手法により細調整された単言語文エンコーダと多言語文エンコーダを併用する。この結果から,NLIの微調整によりタスクおよび言語間のモデルの性能が向上し,単言語モデルと多言語モデルが改良される可能性が示唆された。
論文参考訳（メタデータ） (2023-08-06T12:40:58Z)
Large Language Model as Attributed Training Data Generator: A Tale of Diversity and Bias [92.41919689753051]
大規模言語モデル(LLM)は、最近、様々な自然言語処理(NLP)タスクのためのトレーニングデータジェネレータとして活用されている。本稿では,多様な属性を持つプロンプトを用いたトレーニングデータ生成について検討する。属性付きプロンプトは、結果のモデルの性能の観点から、単純なクラス条件プロンプトより優れていることを示す。
論文参考訳（メタデータ） (2023-06-28T03:31:31Z)
AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文参考訳（メタデータ） (2023-03-29T17:03:21Z)
Automatically Identifying Semantic Bias in Crowdsourced Natural Language Inference Datasets [78.6856732729301]
NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
論文参考訳（メタデータ） (2021-12-16T22:49:01Z)
Training Dynamic based data filtering may not work for NLP datasets [0.0]
NLPデータセットにおける誤り例を識別するために,AUM(Area Under the Margin)測定値の適用性を検討した。我々は,NLPデータセットのAUM測定値を用いて誤ラベル付きサンプルをフィルタリングできることを発見したが,同時に,かなりの数の正確なラベル付きポイントを除去した。
論文参考訳（メタデータ） (2021-09-19T18:50:45Z)
Detecting ESG topics using domain-specific language models and data augmentation approaches [3.3332986505989446]
金融分野における自然言語処理タスクは、適切にラベル付けされたデータのあいまいさのため、依然として困難なままである。本稿では,これらの問題を緩和するための2つのアプローチについて検討する。まず、ビジネスおよび財務ニュースから大量のドメイン内データを用いて、さらなる言語モデルの事前学習実験を行う。次に、モデル微調整のためのデータセットのサイズを増やすために拡張アプローチを適用します。
論文参考訳（メタデータ） (2020-10-16T11:20:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。