論文の概要: OSCaR: Orthogonal Subspace Correction and Rectification of Biases in Word Embeddings

• arxiv url: http://arxiv.org/abs/2007.00049v2
• Date: Fri, 10 Sep 2021 22:17:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 04:17:58.720535
• Title: OSCaR: Orthogonal Subspace Correction and Rectification of Biases in Word Embeddings
• Title（参考訳）: OSCaR: 単語埋め込みにおける直交部分空間の補正とバイアスの定量化
• Authors: Sunipa Dev, Tao Li, Jeff M Phillips, Vivek Srikumar
• Abstract要約: 我々は,概念全体を取り除く代わりに,概念間のバイアス付き関連を解消することに焦点を当てたバイアス緩和手法であるOSCaRを提案する。 性別バイアスに関する実験により、OSCaRは、セマンティック情報が埋め込みに保持され、バイアスも効果的に緩和されるようなバランスのとれたアプローチであることが示されている。
• 参考スコア（独自算出の注目度）: 47.721931801603105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language representations are known to carry stereotypical biases and, as a result, lead to biased predictions in downstream tasks. While existing methods are effective at mitigating biases by linear projection, such methods are too aggressive: they not only remove bias, but also erase valuable information from word embeddings. We develop new measures for evaluating specific information retention that demonstrate the tradeoff between bias removal and information retention. To address this challenge, we propose OSCaR (Orthogonal Subspace Correction and Rectification), a bias-mitigating method that focuses on disentangling biased associations between concepts instead of removing concepts wholesale. Our experiments on gender biases show that OSCaR is a well-balanced approach that ensures that semantic information is retained in the embeddings and bias is also effectively mitigated.
• Abstract（参考訳）: 言語表現はステレオタイプバイアスを持ち、結果として下流タスクのバイアス付き予測につながることが知られている。 既存の手法は線形射影によるバイアスの軽減に有効であるが、そのような手法は攻撃的すぎる: バイアスを除去するだけでなく、単語の埋め込みから貴重な情報を消去する。 バイアス除去と情報保持のトレードオフを示す情報保持を評価するための新しい尺度を開発した。 この課題に対処するために,概念全体を取り除くのではなく,概念間のバイアス付き関連を解消するバイアス緩和手法であるOSCaR(Orthogonal Subspace Correction and Rectification)を提案する。 性別バイアスに関する実験により、OSCaRは、セマンティック情報が埋め込みに保持され、バイアスも効果的に緩和されるようなバランスのとれたアプローチであることが示されている。

関連論文リスト

• Language-guided Detection and Mitigation of Unknown Dataset Bias [23.299264313976213]
  本稿では,キャプションの部分的発生に基づく事前知識のないキーワードとして潜在的なバイアスを識別する枠組みを提案する。 我々のフレームワークは、事前知識のない既存のメソッドよりも優れているだけでなく、事前知識を前提としたメソッドにさえ匹敵する。
  論文  参考訳（メタデータ） (2024-06-05T03:11:33Z)
• Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
  プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。 射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
  論文  参考訳（メタデータ） (2024-03-27T17:49:31Z)
• Is There a One-Model-Fits-All Approach to Information Extraction? Revisiting Task Definition Biases [62.806300074459116]
  定義バイアスは、モデルを誤解させる可能性のある負の現象である。 IEでは、情報抽出データセット間のバイアスと、情報抽出データセットとインストラクションチューニングデータセット間のバイアスの2つの定義バイアスを識別する。 本稿では, 定義バイアス測定, バイアス対応微調整, タスク固有バイアス緩和からなる多段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-25T03:19:20Z)
• Causal Disentanglement for Semantics-Aware Intent Learning in Recommendation [30.85573846018658]
  そこで本研究では,CaDSIと呼ばれる非バイアス・セマンティクス対応のアンタングル学習を提案する。 CaDSIは、リコメンデーションタスクの根底にある因果関係を明示的にモデル化する。 特定のアイテムコンテキストに気付く真の意図を、ユーザを遠ざけることによって、セマンティクスに気付く表現を生成する。
  論文  参考訳（メタデータ） (2022-02-05T15:17:03Z)
• Linear Adversarial Concept Erasure [108.37226654006153]
  与えられた概念に対応する線形部分空間の同定と消去の問題を定式化する。 提案手法は, トラクタビリティと解釈性を維持しつつ, 深い非線形分類器のバイアスを効果的に軽減し, 高い表現性を有することを示す。
  論文  参考訳（メタデータ） (2022-01-28T13:00:17Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• Marked Attribute Bias in Natural Language Inference [0.0]
  下流NLPアプリケーションにおけるジェンダーバイアスの新しい観察: 自然言語推論における有意な属性バイアスについて述べる。 下流のアプリケーションのバイアスは、トレーニングデータ、単語の埋め込み、あるいは使用中のモデルによって増幅される。 ここでは, 単語埋め込みの内在的性質が, この顕著な属性効果にどのように寄与するかを理解する。
  論文  参考訳（メタデータ） (2021-09-28T20:45:02Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Understanding and Mitigating Annotation Bias in Facial Expression Recognition [3.325054486984015]
  現存する多くの著作は、人為的なアノテーションは金本位制であり、偏見のないものと見なすことができると仮定している。 顔の表情認識に焦点をあて、実験室で制御されたデータセットと現場のデータセットのラベルバイアスを比較する。 本稿では,顔動作単位(AU)を活用し,三重項損失を対象関数に組み込むAU校正顔表情認識フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-19T05:28:07Z)
• Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation [94.98656228690233]
  本稿では,性別サブスペースの推測と削除に先立って,コーパス正規性に対する単語埋め込みを浄化する手法を提案する。 本手法は,事前学習した単語埋め込みの分布的意味を保ちつつ,性別バイアスを従来の手法よりもはるかに大きい程度に低減する。
  論文  参考訳（メタデータ） (2020-05-03T02:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。