論文の概要: All Should Be Equal in the Eyes of Language Models: Counterfactually Aware Fair Text Generation

• arxiv url: http://arxiv.org/abs/2311.05451v1
• Date: Thu, 9 Nov 2023 15:39:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 14:52:43.067379
• Title: All Should Be Equal in the Eyes of Language Models: Counterfactually Aware Fair Text Generation
• Title（参考訳）: すべては言語モデルの視点で等しくなければならない:反事実的に公正なテキスト生成
• Authors: Pragyan Banerjee, Abhinav Java, Surgan Jandial, Simra Shahid, Shaz Furniturewala, Balaji Krishnamurthy, Sumit Bhatia
• Abstract要約: 本研究では,多様な階層のモデル理解を動的に比較し,より公平な文を生成する枠組みを提案する。 CAFIEはより公平なテキストを生成し、公平性と言語モデリング能力の最良のバランスを打ちます。
• 参考スコア（独自算出の注目度）: 16.016546693767403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fairness in Language Models (LMs) remains a longstanding challenge, given the inherent biases in training data that can be perpetuated by models and affect the downstream tasks. Recent methods employ expensive retraining or attempt debiasing during inference by constraining model outputs to contrast from a reference set of biased templates or exemplars. Regardless, they dont address the primary goal of fairness to maintain equitability across different demographic groups. In this work, we posit that inferencing LMs to generate unbiased output for one demographic under a context ensues from being aware of outputs for other demographics under the same context. To this end, we propose Counterfactually Aware Fair InferencE (CAFIE), a framework that dynamically compares the model understanding of diverse demographics to generate more equitable sentences. We conduct an extensive empirical evaluation using base LMs of varying sizes and across three diverse datasets and found that CAFIE outperforms strong baselines. CAFIE produces fairer text and strikes the best balance between fairness and language modeling capability
• Abstract（参考訳）: モデルによって持続され、下流のタスクに影響を及ぼす訓練データの固有のバイアスを考えると、言語モデル(lms)の公平性は依然として長年の課題である。 近年の手法では、モデル出力をバイアステンプレートや例題の参照セットと対照的に制約することで、推論中に高価なリトレーニングや試行脱バイアスを用いる。 いずれにせよ、フェアネスの第一の目的は、異なる人口集団間で平等を維持することである。 本研究では,同じ状況下での他の人口集団のアウトプットを意識せずに,ある人口集団のアンバイアスアウトプットを生成するためのLMを推論する。 そこで本研究では,多種多様な集団のモデル理解を動的に比較し,より公平な文を生成するフレームワークであるcafieを提案する。 異なるサイズと3つの多様なデータセットのベースLMを用いて広範な実験評価を行い、CAFIEが強いベースラインより優れていることを示した。 CAFIEはより公平なテキストを生成し、公平性と言語モデリング能力の最良のバランスを取る

関連論文リスト

• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Detecting Bias in Large Language Models: Fine-tuned KcBERT [0.0]
  我々は、このような害を社会的な偏見として定義し、韓国のコメントに微調整されたモデルで、民族、性別、人種的偏見を評価する。 我々の貢献は、言語に依存した特徴により、韓国語モデルに社会的バイアスが存在することを示すことである。
  論文  参考訳（メタデータ） (2024-03-16T02:27:19Z)
• TIDE: Textual Identity Detection for Evaluating and Augmenting Classification and Language Models [0.0]
  機械学習モデルは、不公平で不均衡なデータセットから意図しないバイアスを永続することができる。 分類器と言語モデルにおけるテキストの公平性を改善するためのアプローチと組み合わせたデータセットを提案する。 我々は、IDコンテキストの可用性向上に使用できるIDアノテーションと拡張ツールを開発するために、TIDALを活用している。
  論文  参考訳（メタデータ） (2023-09-07T21:44:42Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• DeAR: Debiasing Vision-Language Models with Additive Residuals [5.672132510411465]
  大規模な事前学習型視覚言語モデル(VLM)は、リッチで適応可能な画像とテキスト表現を提供する。 これらのモデルは、トレーニングデータ中の様々なアイデンティティ群が歪んだ分布のため、社会的バイアスに悩まされる。 本稿では,元の表現をオフセットする付加的残像表現を学習する新しいデバイアス法であるDeARを提案する。
  論文  参考訳（メタデータ） (2023-03-18T14:57:43Z)
• Toward Fairness in Text Generation via Mutual Information Minimization based on Importance Sampling [23.317845744611375]
  そこで本研究では,生成した文のセマンティクスと人口極性との間の相互情報の最小化を提案する。 このように、人口集団の言及は、生成したテキストに記述される方法から独立することが奨励される。 また, 脱バイアス後のPLMの言語モデリング能力を維持する蒸留機構を提案する。
  論文  参考訳（メタデータ） (2023-02-25T18:29:02Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation [49.916963624249355]
  UNMTモデルは、翻訳されたソースと推論中の自然言語で擬似並列データに基づいて訓練される。 トレーニングと推論のソース差はUNMTモデルの翻訳性能を妨げている。 本稿では、擬似並列データ自然言語を同時に用いたオンライン自己学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T04:50:27Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。