論文の概要: Fairness Certification for Natural Language Processing and Large Language Models

• arxiv url: http://arxiv.org/abs/2401.01262v2
• Date: Wed, 3 Jan 2024 08:17:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 11:14:24.019831
• Title: Fairness Certification for Natural Language Processing and Large Language Models
• Title（参考訳）: 自然言語処理と大規模言語モデルのための公正証明
• Authors: Vincent Freiberger, Erik Buchmann
• Abstract要約: 我々はNLPアプローチの公平性認定に向けた定性的な研究アプローチに従う。 我々は、NLPの6つのフェアネス基準を体系的に考案し、さらに18のサブカテゴリに洗練することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural Language Processing (NLP) plays an important role in our daily lives, particularly due to the enormous progress of Large Language Models (LLM). However, NLP has many fairness-critical use cases, e.g., as an expert system in recruitment or as an LLM-based tutor in education. Since NLP is based on human language, potentially harmful biases can diffuse into NLP systems and produce unfair results, discriminate against minorities or generate legal issues. Hence, it is important to develop a fairness certification for NLP approaches. We follow a qualitative research approach towards a fairness certification for NLP. In particular, we have reviewed a large body of literature on algorithmic fairness, and we have conducted semi-structured expert interviews with a wide range of experts from that area. We have systematically devised six fairness criteria for NLP, which can be further refined into 18 sub-categories. Our criteria offer a foundation for operationalizing and testing processes to certify fairness, both from the perspective of the auditor and the audited organization.
• Abstract（参考訳）: 自然言語処理(NLP)は,特にLarge Language Models(LLM)の著しい進歩により,私たちの日常生活において重要な役割を果たす。 しかし、nlpには、採用のエキスパートシステムや教育のllmベースの家庭教師など、公正性に批判的なユースケースが数多くある。 NLPは人間の言語に基づいているため、潜在的に有害なバイアスはNLPシステムに拡散し、不公平な結果をもたらす可能性がある。 したがって、NLPアプローチの公平性検証を開発することが重要である。 我々は,NLPの公平性認定に向けた質的研究アプローチに従う。 特に,アルゴリズムの公正性に関する多くの文献をレビューし,その分野の専門家たちとの半構造化された専門家インタビューを行った。 我々は、nlpの6つの公平性基準を体系的に考案し、さらに18のサブカテゴリに分類できる。 当社の基準は,監査機関と監査機関の両方の観点から,公正を証明するための運用プロセスとテストプロセスの基盤を提供します。

関連論文リスト

• Explainability in Practice: A Survey of Explainable NLP Across Various Domains [2.494550479408289]
  レビューでは、実用的デプロイメントと実世界のアプリケーションに焦点を当てた説明可能なNLP(XNLP)について検討している。 本稿は,XNLPの理解を深め,より広範に応用できる今後の研究方向を提案することで締めくくっている。
  論文  参考訳（メタデータ） (2025-02-02T16:18:44Z)
• A Novel Psychometrics-Based Approach to Developing Professional Competency Benchmark for Large Language Models [0.0]
  本稿では,厳密な心理測定原理に基づくベンチマーク開発への包括的アプローチを提案する。 我々は、教育と教育の分野で新しいベンチマークを作成することで、このアプローチを説明する最初の試みを行う。 我々はブルームの分類学によってガイドされ、テスト開発で訓練された教育専門家のコンソーシアムによって厳格に設計された新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-10-29T19:32:43Z)
• Towards Systematic Monolingual NLP Surveys: GenA of Greek NLP [2.3499129784547663]
  本研究は、体系的かつ総合的なモノリンガルNLPサーベイを作成するための一般化可能な方法論を紹介する。 本手法をギリシャのNLP(2012-2023)に適用し,その現状と課題を概観する。
  論文  参考訳（メタデータ） (2024-07-13T12:01:52Z)
• Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
  教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。 提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。 そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
  論文  参考訳（メタデータ） (2024-03-04T10:48:13Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• Examining risks of racial biases in NLP tools for child protective services [78.81107364902958]
  児童保護サービス(CPS)に焦点をあてる。 この設定で確立された人種的偏見を考えると、NLPの展開は人種格差を増大させる可能性がある。 我々は、NERモデルにおける一貫したアルゴリズムの不公平性、コア参照解決モデルにおけるアルゴリズムの不公平性、およびリスク予測における人種バイアスの悪化の証拠を文書化している。
  論文  参考訳（メタデータ） (2023-05-30T21:00:47Z)
• Lessons Learned from a Citizen Science Project for Natural Language Processing [53.48988266271858]
  市民科学はクラウドソーシングの代替であり、NLPの文脈では比較的研究されていない。 我々は、既存のクラウドソースデータセットの一部を注釈付けすることで、NLPの市民科学における様々なボランティアグループへの参加について探索的研究を行う。 この結果から,高品質なアノテーションが得られ,モチベーションの高いボランティアを惹きつけるだけでなく,スケーラビリティや時間的関与,法的・倫理的問題といった要因も考慮する必要があることが示唆された。
  論文  参考訳（メタデータ） (2023-04-25T14:08:53Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing [68.37496795076203]
  非バランスなデータを扱うNLP研究者や実践者に対してガイダンスを提供する。 まず、制御および実世界のクラス不均衡の様々なタイプについて論じる。 サンプリング,データ拡張,損失関数の選択,ステージ学習,モデル設計に基づく手法を整理する。
  論文  参考訳（メタデータ） (2022-10-10T13:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。