論文の概要: An Attention-based Framework for Fair Contrastive Learning

• arxiv url: http://arxiv.org/abs/2411.14765v1
• Date: Fri, 22 Nov 2024 07:11:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 18:36:36.143228
• Title: An Attention-based Framework for Fair Contrastive Learning
• Title（参考訳）: 公正なコントラスト学習のための注意型フレームワーク
• Authors: Stefan K. Nielsen, Tan M. Nguyen,
• Abstract要約: そこで本稿では,バイアスを考慮したインタラクションをモデル化するための注意機構を用いた,公正なコントラスト学習のための新しい手法を提案する。 我々の注意機構は、モデルに相反するバイアスを発生させるサンプルを避け、意味論的に意味のある表現を学習するのに役立つバイアスを誘発するサンプルに焦点をあてる。
• 参考スコア（独自算出の注目度）: 2.1605931466490795
• License:
• Abstract: Contrastive learning has proven instrumental in learning unbiased representations of data, especially in complex environments characterized by high-cardinality and high-dimensional sensitive information. However, existing approaches within this setting require predefined modelling assumptions of bias-causing interactions that limit the model's ability to learn debiased representations. In this work, we propose a new method for fair contrastive learning that employs an attention mechanism to model bias-causing interactions, enabling the learning of a fairer and semantically richer embedding space. In particular, our attention mechanism avoids bias-causing samples that confound the model and focuses on bias-reducing samples that help learn semantically meaningful representations. We verify the advantages of our method against existing baselines in fair contrastive learning and show that our approach can significantly boost bias removal from learned representations without compromising downstream accuracy.
• Abstract（参考訳）: 対照的な学習は、データのバイアスのない表現を学習する上で、特に高心力と高次元の機密情報によって特徴づけられる複雑な環境において、役立っていることが証明されている。 しかし、この設定の既存のアプローチでは、偏りのある表現を学習するモデルの能力を制限するバイアスを発生させる相互作用のモデル化が事前に求められている。 本研究では,より公平でセマンティックにリッチな埋め込み空間の学習を可能にするため,バイアスを考慮したインタラクションをモデル化するための注意機構を利用する,公正なコントラスト学習のための新しい手法を提案する。 特に、我々の注意機構は、モデルを混乱させるバイアスを発生させるサンプルを避け、意味論的に意味のある表現を学習するのに役立つバイアスを減少させるサンプルに焦点を当てる。 また,本手法が既存のベースラインに対して有効であることを示すとともに,本手法が下流の精度を損なうことなく,学習表現からのバイアス除去を著しく向上させることができることを示す。

関連論文リスト

• Utilizing Adversarial Examples for Bias Mitigation and Accuracy Enhancement [3.0820287240219795]
  本稿では,コンピュータビジョンモデルにおけるバイアスを軽減するための新しい手法を提案する。 提案手法は,カリキュラム学習フレームワークと詳細な逆数損失を組み合わせることで,逆数例を用いてモデルを微調整する。 我々は,定性評価と定量的評価を併用し,従来の方法と比較してバイアス緩和と精度の向上を実証した。
  論文  参考訳（メタデータ） (2024-04-18T00:41:32Z)
• Using Positive Matching Contrastive Loss with Facial Action Units to mitigate bias in Facial Expression Recognition [6.015556590955814]
  本稿では、モデルがドメイン知識を用いてタスク関連機能に焦点をあてることによりバイアスを軽減することを提案する。 本手法を用いてタスク関連機能を組み込むことで,最小コストでモデルフェアネスを向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-03-08T21:28:02Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Bias-inducing geometries: an exactly solvable data model with fairness implications [13.690313475721094]
  我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。 この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。 フェアネス評価によく用いられる観測対象の正確な予測値を得る。
  論文  参考訳（メタデータ） (2022-05-31T16:27:57Z)
• Causal Disentanglement for Semantics-Aware Intent Learning in Recommendation [30.85573846018658]
  そこで本研究では,CaDSIと呼ばれる非バイアス・セマンティクス対応のアンタングル学習を提案する。 CaDSIは、リコメンデーションタスクの根底にある因果関係を明示的にモデル化する。 特定のアイテムコンテキストに気付く真の意図を、ユーザを遠ざけることによって、セマンティクスに気付く表現を生成する。
  論文  参考訳（メタデータ） (2022-02-05T15:17:03Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。