論文の概要: Applying Intrinsic Debiasing on Downstream Tasks: Challenges and Considerations for Machine Translation

• arxiv url: http://arxiv.org/abs/2406.00787v1
• Date: Sun, 2 Jun 2024 15:57:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 03:26:39.118449
• Title: Applying Intrinsic Debiasing on Downstream Tasks: Challenges and Considerations for Machine Translation
• Title（参考訳）: 下流タスクにおける内在的デバイアスの適用:機械翻訳の課題と考察
• Authors: Bar Iluz, Yanai Elazar, Asaf Yehudai, Gabriel Stanovsky,
• Abstract要約: 内在的デバイアスの手法がニューラルマシン翻訳モデルにどのように影響するかを系統的に検証する。 私たちは、デバイアスングテクニックとエンドゴール使用の3つの課題とミスマッチを強調します。
• 参考スコア（独自算出の注目度）: 19.06428714669272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most works on gender bias focus on intrinsic bias -- removing traces of information about a protected group from the model's internal representation. However, these works are often disconnected from the impact of such debiasing on downstream applications, which is the main motivation for debiasing in the first place. In this work, we systematically test how methods for intrinsic debiasing affect neural machine translation models, by measuring the extrinsic bias of such systems under different design choices. We highlight three challenges and mismatches between the debiasing techniques and their end-goal usage, including the choice of embeddings to debias, the mismatch between words and sub-word tokens debiasing, and the effect on different target languages. We find that these considerations have a significant impact on downstream performance and the success of debiasing.
• Abstract（参考訳）: ほとんどの研究は、本質的なバイアスに焦点を当てており、モデルの内部表現から保護されたグループに関する情報の痕跡を取り除く。 しかし、これらの作品はしばしば下流のアプリケーションに対するデバイアスの影響から切り離され、これはそもそもデバイアスの主な動機である。 本研究では, 内在的デバイアスの手法がニューラルマシン翻訳モデルにどう影響するかを, 設計選択の異なるシステムにおける外在的バイアスを測定することによって, 系統的に検証する。 我々は,デバイアスの技法と,デバイアスへの埋め込みの選択,単語とサブワードトークンのミスマッチ,および異なるターゲット言語に対する影響の3つの課題とミスマッチを強調した。 これらの考慮は、下流のパフォーマンスとデバイアスの成功に大きな影響を与えている。

関連論文リスト

• Mitigating Gender Bias in Contextual Word Embeddings [1.208453901299241]
  本稿では,コンテキスト埋め込みにおける性別バイアスを大幅に軽減する,リップスティック(マスケ・ランゲージ・モデリング)の新たな目的関数を提案する。 また, 静的な埋め込みを嫌悪する新しい手法を提案し, 広範囲な解析と実験による実証実験を行った。
  論文  参考訳（メタデータ） (2024-11-18T21:36:44Z)
• Unlabeled Debiasing in Downstream Tasks via Class-wise Low Variance Regularization [13.773597081543185]
  本稿では,組込みのクラスワイドな分散に基づく新しいデバイアス正規化手法を提案する。 提案手法は属性ラベルを必要とせず,属性をターゲットとせず,既存のデバイアス手法の欠点に対処する。
  論文  参考訳（メタデータ） (2024-09-29T03:56:50Z)
• Mitigating Biases for Instruction-following Language Models via Bias Neurons Elimination [54.865941973768905]
  本稿では,命令追従設定における言語モデルのバイアスニューロンを除去するための,新しい実用的なバイアス緩和手法であるCRISPRを提案する。 CRISPRは自動的にバイアス出力を決定し、バイアス出力に影響を与えるニューロンを説明可能性法を用いてバイアスニューロンに分類する。 実験により,モデルのタスク性能と既存知識を損なうことなく,ゼロショット命令追従条件下でのバイアス軽減効果が示された。
  論文  参考訳（メタデータ） (2023-11-16T07:16:55Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• What Changed? Investigating Debiasing Methods using Causal Mediation Analysis [1.3225884668783203]
  我々は、ジェンダーに関して言語モデルをデバイアスする内部メカニズムを分解する。 以上の結果から, バイアス指標の異なるデバイアス法の有効性を検証する必要があることが示唆された。
  論文  参考訳（メタデータ） (2022-06-01T18:26:24Z)
• How Gender Debiasing Affects Internal Model Representations, and Why It Matters [26.993273464725995]
  内因性バイアスは、標準のWEAT測定値よりもデバイアスの指標として優れていることを示す。 当社のフレームワークは,NLPモデルのバイアスを包括的に把握し,より情報のある方法でNLPシステムのデプロイに適用することができる。
  論文  参考訳（メタデータ） (2022-04-14T08:54:15Z)
• An Empirical Survey of the Effectiveness of Debiasing Techniques for Pre-Trained Language Models [4.937002982255573]
  最近の研究によると、事前学習された言語モデルは、訓練されたテキストコーパスから社会的偏見を捉えている。 最近提案された5つのデバイアス技術: 対実データ拡張、ドロップアウト、イテレーティブヌルスペース投影、セルフデバイアス、センテンスデバイアス。 3つの異なるバイアスベンチマークを用いて各手法の有効性を定量化するとともに,これらの手法がモデル言語モデリング能力に与える影響を計測する。
  論文  参考訳（メタデータ） (2021-10-16T09:40:30Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Fairness Through Robustness: Investigating Robustness Disparity in Deep Learning [61.93730166203915]
  我々は、モデルが敵の攻撃に弱い場合、従来の公平性の概念では不十分であると主張する。 頑健性バイアスを測定することはDNNにとって難しい課題であり,この2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-06-17T22:22:24Z)
• Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation [94.98656228690233]
  本稿では,性別サブスペースの推測と削除に先立って,コーパス正規性に対する単語埋め込みを浄化する手法を提案する。 本手法は,事前学習した単語埋め込みの分布的意味を保ちつつ,性別バイアスを従来の手法よりもはるかに大きい程度に低減する。
  論文  参考訳（メタデータ） (2020-05-03T02:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。