論文の概要: Fairness Definitions in Language Models Explained

• arxiv url: http://arxiv.org/abs/2407.18454v1
• Date: Fri, 26 Jul 2024 01:21:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 14:39:47.864193
• Title: Fairness Definitions in Language Models Explained
• Title（参考訳）: 言語モデルにおける公正定義の解説
• Authors: Thang Viet Doan, Zhibo Chu, Zichong Wang, Wenbin Zhang,
• Abstract要約: 言語モデル (LM) は様々な自然言語処理 (NLP) タスクにおいて例外的な性能を示した。 これらの進歩にもかかわらず、LMは性別や人種などのセンシティブな属性に関連する社会的バイアスを継承し、増幅することができる。 本稿では,LM に適用されるフェアネスの定義を明らかにするための体系的な調査を提案する。
• 参考スコア（独自算出の注目度）: 2.443957114877221
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language Models (LMs) have demonstrated exceptional performance across various Natural Language Processing (NLP) tasks. Despite these advancements, LMs can inherit and amplify societal biases related to sensitive attributes such as gender and race, limiting their adoption in real-world applications. Therefore, fairness has been extensively explored in LMs, leading to the proposal of various fairness notions. However, the lack of clear agreement on which fairness definition to apply in specific contexts (\textit{e.g.,} medium-sized LMs versus large-sized LMs) and the complexity of understanding the distinctions between these definitions can create confusion and impede further progress. To this end, this paper proposes a systematic survey that clarifies the definitions of fairness as they apply to LMs. Specifically, we begin with a brief introduction to LMs and fairness in LMs, followed by a comprehensive, up-to-date overview of existing fairness notions in LMs and the introduction of a novel taxonomy that categorizes these concepts based on their foundational principles and operational distinctions. We further illustrate each definition through experiments, showcasing their practical implications and outcomes. Finally, we discuss current research challenges and open questions, aiming to foster innovative ideas and advance the field. The implementation and additional resources are publicly available at https://github.com/LavinWong/Fairness-in-Large-Language-Models/tree/main/definitions.
• Abstract（参考訳）: 言語モデル (LM) は様々な自然言語処理 (NLP) タスクにおいて例外的な性能を示した。 これらの進歩にもかかわらず、LMは、性別や人種などのセンシティブな属性に関連する社会的バイアスを継承し、増幅し、現実のアプリケーションでの採用を制限することができる。 したがって、フェアネスはLMで広く研究されており、様々なフェアネスの概念が提案されている。 しかし、特定の文脈においてフェアネス定義を適用するための明確な合意の欠如 (\textit{e g ,} 中規模のLMと大規模LM) と、これらの定義の区別を理解する複雑さは混乱を招き、さらなる進歩を妨げる。 この目的のために,本論文では,LM に適用するフェアネスの定義を明確にする体系的な調査を提案する。 具体的には,LMの公平性と公平性に関する簡単な紹介と,LMの既存の公正性概念の包括的かつ最新の概要,およびこれらの概念を基本原則と運用上の区別に基づいて分類する新しい分類法の導入から始める。 さらに、実験を通して各定義を説明し、その実践的意味と成果を示す。 最後に,現在の研究課題とオープンな課題について論じ,革新的なアイデアを育成し,分野を前進させることを目的としている。 実装と追加のリソースはhttps://github.com/LavinWong/Fairness-in-Large-Language-Models/tree/main/definitionsで公開されている。

関連論文リスト

• Few-Shot Fairness: Unveiling LLM's Potential for Fairness-Aware Classification [7.696798306913988]
  フェアネス定義に適合するフェアネス規則を概説する枠組みを導入する。 本稿では,テキスト内学習のための構成と,RAGを用いてテキスト内デモを選択する手順について検討する。 異なるLCMを用いて行った実験では、GPT-4は他のモデルと比較して精度と公平性の両方において優れた結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-02-28T17:29:27Z)
• From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
  この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。 主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。 説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
  論文  参考訳（メタデータ） (2024-01-23T16:09:53Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Can Large Language Models Follow Concept Annotation Guidelines? A Case Study on Scientific and Financial Domains [19.814974042343028]
  文ラベリングタスクのコンテキスト内概念ガイドラインに従うための命令調整型言語モデルの能力について検討する。 以上の結果から,概念定義はタスク性能に一貫して寄与するが,実際のコンテキスト下での作業能力に制限があるのは大規模モデルのみであることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T05:11:26Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of Language Models with Hypothesis Refinement [92.61557711360652]
  言語モデル(LM)は、しばしば帰納的推論に不足する。 我々は,反復的仮説修正を通じて,LMの帰納的推論能力を体系的に研究する。 本研究は, LMの誘導的推論過程と人間とのいくつかの相違点を明らかにし, 誘導的推論タスクにおけるLMの使用の可能性と限界に光を当てる。
  論文  参考訳（メタデータ） (2023-10-12T17:51:10Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Machine learning fairness notions: Bridging the gap with real-world applications [4.157415305926584]
  フェアネスは、機械学習予測システムが特定の個人やサブ人口全体に対して差別しないことを保証する重要な要件として現れた。 本稿では,多くの事例とシナリオを通じて,公平性の概念間の微妙な関係について述べる。
  論文  参考訳（メタデータ） (2020-06-30T13:01:06Z)
• oLMpics -- On what Language Model Pre-training Captures [84.60594612120173]
  本研究では,比較,協調,合成などの操作を必要とする8つの推論タスクを提案する。 基本的な課題は、タスク上でのLMのパフォーマンスが、事前訓練された表現やタスクデータの微調整のプロセスに起因すべきかどうかを理解することである。
  論文  参考訳（メタデータ） (2019-12-31T12:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。