論文の概要: Tackling Bias in Pre-trained Language Models: Current Trends and Under-represented Societies

• arxiv url: http://arxiv.org/abs/2312.01509v1
• Date: Sun, 3 Dec 2023 21:25:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 17:10:47.060162
• Title: Tackling Bias in Pre-trained Language Models: Current Trends and Under-represented Societies
• Title（参考訳）: 事前学習型言語モデルにおけるタグ付けバイアス:現状と下層表現型社会
• Authors: Vithya Yogarajan, Gillian Dobbie, Te Taka Keegan, Rostam J. Neuwirth
• Abstract要約: 本研究は,言語モデルにおけるバイアスの同定と緩和に用いられている手法の現在の傾向と限界を総合する調査である。 偏見問題に対処する現在のプラクティスは、表現不足の社会のニーズに対処するために単に"プラグイン"することはできない、と我々は主張する。
• 参考スコア（独自算出の注目度）: 6.831519625084861
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The benefits and capabilities of pre-trained language models (LLMs) in current and future innovations are vital to any society. However, introducing and using LLMs comes with biases and discrimination, resulting in concerns about equality, diversity and fairness, and must be addressed. While understanding and acknowledging bias in LLMs and developing mitigation strategies are crucial, the generalised assumptions towards societal needs can result in disadvantages towards under-represented societies and indigenous populations. Furthermore, the ongoing changes to actual and proposed amendments to regulations and laws worldwide also impact research capabilities in tackling the bias problem. This research presents a comprehensive survey synthesising the current trends and limitations in techniques used for identifying and mitigating bias in LLMs, where the overview of methods for tackling bias are grouped into metrics, benchmark datasets, and mitigation strategies. The importance and novelty of this survey are that it explores the perspective of under-represented societies. We argue that current practices tackling the bias problem cannot simply be 'plugged in' to address the needs of under-represented societies. We use examples from New Zealand to present requirements for adopting existing techniques to under-represented societies.
• Abstract（参考訳）: 現在および将来のイノベーションにおける事前訓練言語モデル(LLM)の利点と能力は、あらゆる社会にとって不可欠である。 しかしながら、llmの導入と使用にはバイアスと差別が伴い、平等、多様性、公平性に関する懸念が生じ、対処しなければならない。 LLMの理解と認知、緩和戦略の開発は不可欠であるが、社会的ニーズに対する一般的な仮定は、表現不足の社会や先住民に対する不利をもたらす可能性がある。 さらに、現在進行中の規制や法律の修正案や変更案は、バイアス問題に取り組む研究能力にも影響を与えている。 本研究は, LLMにおけるバイアスの特定と緩和に使用される手法の現在の傾向と限界を総合的に分析し, バイアスの対処方法の概要を指標, ベンチマークデータセット, 緩和戦略に分類する。 この調査の重要性と新規性は、過疎社会の視点を探求することである。 偏見問題に対処する現在のプラクティスは、表現不足の社会のニーズに対処するために単に"プラグイン"することはできない、と我々は主張する。 我々はニュージーランドの例を用いて、既成の社会に既存の技術を採用するための要件を提示する。

関連論文リスト

• How Are LLMs Mitigating Stereotyping Harms? Learning from Search Engine Studies [0.0]
  商業モデル開発は、社会的影響評価を犠牲にして、法的負債に関する「安全」の訓練に重点を置いている。 これは、数年前に検索エンジンのオートコンプリートを観測できる同様の傾向を模倣している。 LLMにおけるステレオタイピングを評価するために,オートコンプリート方式の新たな評価課題を提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:04:35Z)
• The Impossibility of Fair LLMs [59.424918263776284]
  大規模言語モデル(LLM)の時代において、公正なAIの必要性はますます明確になっている。 我々は、機械学習研究者が公正性を評価するために使った技術フレームワークについてレビューする。 我々は、特定のユースケースにおける公平性を達成するためのより現実的な目標のためのガイドラインを策定する。
  論文  参考訳（メタデータ） (2024-05-28T04:36:15Z)
• A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law [65.87885628115946]
  大規模言語モデル(LLM)は、金融、医療、法律の展望に革命をもたらしている。 我々は、医療における診断・治療方法論の強化、財務分析の革新、法的解釈・コンプライアンス戦略の精査におけるLCMの役割を強調した。 これらの分野におけるLLMアプリケーションの倫理を批判的に検討し、既存の倫理的懸念と透明で公平で堅牢なAIシステムの必要性を指摘した。
  論文  参考訳（メタデータ） (2024-05-02T22:43:02Z)
• Unifying Bias and Unfairness in Information Retrieval: A Survey of Challenges and Opportunities with Large Language Models [31.199796752545478]
  検索エンジンやレコメンデーションシステムなどの情報検索システムは、重要なパラダイムシフトを経験している。 大規模言語モデル(LLM)の急速な進歩により、検索エンジンやレコメンダシステムといった情報検索システムは、重要なパラダイムシフトを経験してきた。
  論文  参考訳（メタデータ） (2024-04-17T15:05:03Z)
• Survey of Social Bias in Vision-Language Models [65.44579542312489]
  調査の目的は、NLP、CV、VLをまたいだ事前学習モデルにおける社会バイアス研究の類似点と相違点について、研究者に高いレベルの洞察を提供することである。 ここで提示された発見とレコメンデーションはMLコミュニティの利益となり、公平でバイアスのないAIモデルの開発を促進する。
  論文  参考訳（メタデータ） (2023-09-24T15:34:56Z)
• Challenges in Annotating Datasets to Quantify Bias in Under-represented Society [7.9342597513806865]
  ベンチマークバイアスデータセットは、二項性分類と倫理的・人種的考察のために開発された。 その結果, ニュージーランド (NZ) の人口を対象に, 偏見を定量化するための注釈付きデータセットが欠如していることから, ニュージーランド (NZ) 人口のベンチマークデータセットを作成した。 本研究は、手動のアノテーションプロセスの概要、遭遇した課題の概要、学習した教訓、今後の研究への提言について述べる。
  論文  参考訳（メタデータ） (2023-09-11T22:24:39Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Fair Enough: Standardizing Evaluation and Model Selection for Fairness Research in NLP [64.45845091719002]
  現代のNLPシステムは様々なバイアスを示しており、モデル偏見に関する文献が増えている。 本稿では,その現状を解明し,公正学習における意味ある進歩の道筋を立案することを目的とする。
  論文  参考訳（メタデータ） (2023-02-11T14:54:00Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。