論文の概要: Fairness Certification for Natural Language Processing and Large Language Models

• arxiv url: http://arxiv.org/abs/2401.01262v2
• Date: Wed, 3 Jan 2024 08:17:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 11:14:24.019831
• Title: Fairness Certification for Natural Language Processing and Large Language Models
• Title（参考訳）: 自然言語処理と大規模言語モデルのための公正証明
• Authors: Vincent Freiberger, Erik Buchmann
• Abstract要約: 我々はNLPアプローチの公平性認定に向けた定性的な研究アプローチに従う。 我々は、NLPの6つのフェアネス基準を体系的に考案し、さらに18のサブカテゴリに洗練することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural Language Processing (NLP) plays an important role in our daily lives, particularly due to the enormous progress of Large Language Models (LLM). However, NLP has many fairness-critical use cases, e.g., as an expert system in recruitment or as an LLM-based tutor in education. Since NLP is based on human language, potentially harmful biases can diffuse into NLP systems and produce unfair results, discriminate against minorities or generate legal issues. Hence, it is important to develop a fairness certification for NLP approaches. We follow a qualitative research approach towards a fairness certification for NLP. In particular, we have reviewed a large body of literature on algorithmic fairness, and we have conducted semi-structured expert interviews with a wide range of experts from that area. We have systematically devised six fairness criteria for NLP, which can be further refined into 18 sub-categories. Our criteria offer a foundation for operationalizing and testing processes to certify fairness, both from the perspective of the auditor and the audited organization.
• Abstract（参考訳）: 自然言語処理(NLP)は,特にLarge Language Models(LLM)の著しい進歩により,私たちの日常生活において重要な役割を果たす。 しかし、nlpには、採用のエキスパートシステムや教育のllmベースの家庭教師など、公正性に批判的なユースケースが数多くある。 NLPは人間の言語に基づいているため、潜在的に有害なバイアスはNLPシステムに拡散し、不公平な結果をもたらす可能性がある。 したがって、NLPアプローチの公平性検証を開発することが重要である。 我々は,NLPの公平性認定に向けた質的研究アプローチに従う。 特に,アルゴリズムの公正性に関する多くの文献をレビューし,その分野の専門家たちとの半構造化された専門家インタビューを行った。 我々は、nlpの6つの公平性基準を体系的に考案し、さらに18のサブカテゴリに分類できる。 当社の基準は,監査機関と監査機関の両方の観点から,公正を証明するための運用プロセスとテストプロセスの基盤を提供します。

関連論文リスト

• A Novel Psychometrics-Based Approach to Developing Professional Competency Benchmark for Large Language Models [0.0]
  本稿では,厳密な心理測定原理に基づくベンチマーク開発への包括的アプローチを提案する。 我々は、教育と教育の分野で新しいベンチマークを作成することで、このアプローチを説明する最初の試みを行う。 我々はブルームの分類学によってガイドされ、テスト開発で訓練された教育専門家のコンソーシアムによって厳格に設計された新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-10-29T19:32:43Z)
• Towards Systematic Monolingual NLP Surveys: GenA of Greek NLP [2.3499129784547663]
  本研究は, 体系的かつ総合的な単言語NLPサーベイを作成する手法を導入することで, ギャップを埋めるものである。 構造化された検索プロトコルによって特徴づけられ、出版物を選定し、NLPタスクの分類によってそれらを整理することができる。 本手法の適用により,2012年から2022年にかけて,ギリシャNLPの体系的文献レビューを行った。
  論文  参考訳（メタデータ） (2024-07-13T12:01:52Z)
• Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
  教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。 提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。 そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
  論文  参考訳（メタデータ） (2024-03-04T10:48:13Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• NLPBench: Evaluating Large Language Models on Solving NLP Problems [41.01588131136101]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の能力を高めることを約束している。 イェール大学の最終試験から得られた様々なNLPトピックにまたがる378の大学レベルのNLP質問を含む,ユニークなベンチマークデータセットであるNLPBenchを提案する。 GPT-3.5/4, PaLM-2, LLAMA-2などのLCMに着目した評価では, チェーン・オブ・シークレット(CoT)やツリー・オブ・シークレット(ToT)といった先進的なプロンプト戦略が取り入れられている。
  論文  参考訳（メタデータ） (2023-09-27T13:02:06Z)
• Examining risks of racial biases in NLP tools for child protective services [78.81107364902958]
  児童保護サービス(CPS)に焦点をあてる。 この設定で確立された人種的偏見を考えると、NLPの展開は人種格差を増大させる可能性がある。 我々は、NERモデルにおける一貫したアルゴリズムの不公平性、コア参照解決モデルにおけるアルゴリズムの不公平性、およびリスク予測における人種バイアスの悪化の証拠を文書化している。
  論文  参考訳（メタデータ） (2023-05-30T21:00:47Z)
• Lessons Learned from a Citizen Science Project for Natural Language Processing [53.48988266271858]
  市民科学はクラウドソーシングの代替であり、NLPの文脈では比較的研究されていない。 我々は、既存のクラウドソースデータセットの一部を注釈付けすることで、NLPの市民科学における様々なボランティアグループへの参加について探索的研究を行う。 この結果から,高品質なアノテーションが得られ,モチベーションの高いボランティアを惹きつけるだけでなく,スケーラビリティや時間的関与,法的・倫理的問題といった要因も考慮する必要があることが示唆された。
  論文  参考訳（メタデータ） (2023-04-25T14:08:53Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing [68.37496795076203]
  非バランスなデータを扱うNLP研究者や実践者に対してガイダンスを提供する。 まず、制御および実世界のクラス不均衡の様々なタイプについて論じる。 サンプリング,データ拡張,損失関数の選択,ステージ学習,モデル設計に基づく手法を整理する。
  論文  参考訳（メタデータ） (2022-10-10T13:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。