論文の概要: FairLangProc: A Python package for fairness in NLP
- arxiv url: http://arxiv.org/abs/2508.03677v1
- Date: Tue, 05 Aug 2025 17:47:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-06 18:18:56.105411
- Title: FairLangProc: A Python package for fairness in NLP
- Title(参考訳): FairLangProc: NLPの公平性のためのPythonパッケージ
- Authors: Arturo Pérez-Peralta, Sandra Benítez-Peña, Rosa E. Lillo,
- Abstract要約: 本稿では,近年の自然言語処理における公平性向上の共通実装として,Pythonパッケージを提案する。
FairLangProcは、バイアス軽減技術の普及と民主化を促進することを目的としている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rise in usage of Large Language Models to near ubiquitousness in recent years has risen societal concern about their applications in decision-making contexts, such as organizational justice or healthcare. This, in turn, poses questions about the fairness of these models in critical settings, which leads to the developement of different procedures to address bias in Natural Language Processing. Although many datasets, metrics and algorithms have been proposed to measure and mitigate harmful prejudice in Natural Language Processing, their implementation is diverse and far from centralized. As a response, this paper presents FairLangProc, a comprehensive Python package providing a common implementation of some of the more recent advances in fairness in Natural Language Processing providing an interface compatible with the famous Hugging Face transformers library, aiming to encourage the widespread use and democratization of bias mitigation techniques. The implementation can be found on https://github.com/arturo-perez-peralta/FairLangProc.
- Abstract(参考訳): 近年、大規模言語モデルの使用が至るところで普及し、組織的正義や医療といった意思決定の文脈における彼らの応用に対する社会的関心が高まっている。
このことは、これらのモデルの公平性について批判的な設定で疑問を呈し、自然言語処理におけるバイアスに対処するさまざまな手順の開発につながります。
多くのデータセット、メトリクス、アルゴリズムが自然言語処理における有害な偏見を計測し緩和するために提案されているが、その実装は多種多様であり、集中化には程遠い。
本報告では,FairLangProcについて述べる。FairLangProcは,Hugging Face Transformersライブラリと互換性のあるインタフェースを提供する自然言語処理における,より最近の公正性向上の共通実装を提供する包括的Pythonパッケージで,バイアス軽減技術の普及と民主化を促進することを目的としている。
実装はhttps://github.com/arturo-perez-peralta/FairLangProcで確認できる。
関連論文リスト
- Langformers: Unified NLP Pipelines for Language Models [3.690904966341072]
LangformersはオープンソースのPythonライブラリで、NLPパイプラインを合理化するように設計されている。
会話型AI、事前学習、テキスト分類、文の埋め込み/更新、データラベリング、セマンティック検索、知識蒸留を結合型APIに統合する。
論文 参考訳(メタデータ) (2025-04-12T10:17:49Z) - LangFair: A Python Package for Assessing Bias and Fairness in Large Language Model Use Cases [0.0]
LangFairは、LLM実践者に特定のユースケースに関連するバイアスと公平性リスクを評価するためのツールを提供することを目的としている。
このパッケージは、ユースケース固有のプロンプトに対するLLM応答で構成される評価データセットを簡単に生成する機能を提供する。
メトリクスの選択をガイドするために、LangFairは実行可能な決定フレームワークを提供する。
論文 参考訳(メタデータ) (2025-01-06T16:20:44Z) - The GUS Framework: Benchmarking Social Bias Classification with Discriminative (Encoder-Only) and Generative (Decoder-Only) Language Models [3.7716682697752506]
一般化、不公平、ステレオタイプ(GUSフレームワーク)は、社会的偏見の根底にある重要な言語的要素であると考えられている。
GUSフレームワークは、倫理的基準を維持するために人間が検証する包括的な合成データセットを作成するために、半自動化されたアプローチを採用している。
本手法は,識別的(エンコーダのみ)モデルと生成的(自己回帰的)大規模言語モデルを組み合わせることで,テキスト中のバイアスのあるエンティティを識別する。
論文 参考訳(メタデータ) (2024-10-10T21:51:22Z) - Collapsed Language Models Promote Fairness [88.48232731113306]
偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。
我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
論文 参考訳(メタデータ) (2024-10-06T13:09:48Z) - Forcing Diffuse Distributions out of Language Models [70.28345569190388]
ユーザ命令に従うように特別に訓練されているにもかかわらず、今日の命令付き言語モデルは、ランダムな出力を生成するように指示された場合、性能が良くない。
本稿では,言語モデルに有効な結果に対して拡散した分布を出力することを奨励する微調整手法を提案する。
論文 参考訳(メタデータ) (2024-04-16T19:17:23Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳(メタデータ) (2023-11-14T18:59:15Z) - Native Language Identification with Big Bird Embeddings [0.3069335774032178]
ネイティブ言語識別(NLI)は、著者の母国語を他の言語での表記に基づいて分類することを目的としている。
現在の研究は、入力サイズが制限要因であるかどうかを調べ、Big Birdの埋め込みを使って訓練された分類器が、Reddit-L2データセットで大きなマージンで言語機能エンジニアリングモデルを上回っていることを示している。
論文 参考訳(メタデータ) (2023-09-13T12:47:40Z) - A Trip Towards Fairness: Bias and De-Biasing in Large Language Models [1.987426401990999]
安価なトレーニングを備えたCtB-LLM(Cheap-to-Build Very Large-Language Model)が、自然言語処理と理解における次の大きな革命として現れている。
本稿では,CtB-LLMの3家系の偏りを大規模に調査した。
脱バイアス技術は有効であり,有効であることを示す。
論文 参考訳(メタデータ) (2023-05-23T09:35:37Z) - A New Generation of Perspective API: Efficient Multilingual
Character-level Transformers [66.9176610388952]
Google JigsawのAspective APIの次期バージョンの基礎を提示する。
このアプローチの中心は、単一の多言語トークンフリーなCharformerモデルである。
静的な語彙を強制することで、さまざまな設定で柔軟性が得られます。
論文 参考訳(メタデータ) (2022-02-22T20:55:31Z) - SML: a new Semantic Embedding Alignment Transformer for efficient
cross-lingual Natural Language Inference [71.57324258813674]
トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。
nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。
本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
論文 参考訳(メタデータ) (2021-03-17T13:23:53Z) - Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。
XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。
実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
論文 参考訳(メタデータ) (2021-02-16T18:47:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。