論文の概要: Self-supervised debiasing using low rank regularization

• arxiv url: http://arxiv.org/abs/2210.05248v1
• Date: Tue, 11 Oct 2022 08:26:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 13:33:55.212561
• Title: Self-supervised debiasing using low rank regularization
• Title（参考訳）: 低位正規化を用いた自己監督型デバイアス
• Authors: Geon Yeong Park, Chanyong Jung, Jong Chul Ye, Sang Wan Lee
• Abstract要約: 純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
• 参考スコア（独自算出の注目度）: 39.37508626631092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spurious correlations can cause strong biases in deep neural networks, impairing generalization ability. While most of existing debiasing methods require full supervisions on either spurious attributes or target labels, training a debiased model from a limited amount of both annotations is still an open issue. To overcome such limitations, we first examined an interesting phenomenon by the spectral analysis of latent representations: spuriously correlated, easy-to-learn attributes make neural networks inductively biased towards encoding lower effective rank representations. We also show that a rank regularization can amplify this bias in a way that encourages highly correlated features. Motivated by these observations, we propose a self-supervised debiasing framework that is potentially compatible with unlabeled samples. We first pretrain a biased encoder in a self-supervised manner with the rank regularization, serving as a semantic bottleneck to enforce the encoder to learn the spuriously correlated attributes. This biased encoder is then used to discover and upweight bias-conflicting samples in a downstream task, serving as a boosting to effectively debias the main model. Remarkably, the proposed debiasing framework significantly improves the generalization performance of self-supervised learning baselines and, in some cases, even outperforms state-of-the-art supervised debiasing approaches.
• Abstract（参考訳）: スプリアス相関はディープニューラルネットワークにおいて強いバイアスを引き起こし、一般化能力を妨げる可能性がある。 既存のデバイアス手法のほとんどは、スプリアス属性またはターゲットラベルの完全な監視を必要とするが、両方のアノテーションの限られた量からデバイアスモデルのトレーニングはまだ未解決の問題である。 このような制約を克服するため,我々はまず,潜在表現のスペクトル解析によって興味深い現象について検討した。 また,ランクの正則化は,高度に相関した特徴を促進させる方法で,このバイアスを増幅できることを示した。 これらの観測により,ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 まず、偏りのあるエンコーダを自己監督的に正規化して事前訓練し、エンコーダに素早い相関属性を学習させる意味的ボトルネックとして機能する。 このバイアスエンコーダは、下流タスクでバイアスコンフリクトサンプルを発見して重み付けするために使用され、メインモデルを効果的にデバイアスするのに役立つ。 特筆すべきは、提案された脱バイアスフレームワークは、自己教師付き学習ベースラインの一般化性能を著しく向上させ、場合によっては最先端の脱バイアスアプローチよりも優れていることである。

関連論文リスト

• Debiasify: Self-Distillation for Unsupervised Bias Mitigation [19.813054813868476]
  単純性バイアスはニューラルネットワークにおいて重要な課題となり、しばしばモデルがより単純な解を好んで、急激な相関による決定規則を不注意に学習する。 バイアスの性質に関する事前の知識を必要としない新しい自己蒸留アプローチであるDebiasifyを紹介します。 提案手法は, 複雑で高精度な特徴を含む深い層から, より単純な特性条件を持つ浅層へと, ネットワーク内の知識を伝達するために, 新たな蒸留損失を生かしている。
  論文  参考訳（メタデータ） (2024-11-01T16:25:05Z)
• Looking at Model Debiasing through the Lens of Anomaly Detection [11.113718994341733]
  ディープニューラルネットワークはデータのバイアスに敏感である。 本稿では,異常検出に基づく新しいバイアス同定手法を提案する。 合成および実際のベンチマークデータセット上で、最先端のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-07-24T17:30:21Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• Kernel-Whitening: Overcome Dataset Bias with Isotropic Sentence Embedding [51.48582649050054]
  符号化文の特徴間の相関関係を解消する表現正規化手法を提案する。 またNystromカーネル近似法であるKernel-Whiteningを提案する。 実験により,Kernel-Whiteningは分布内精度を維持しつつ,分布外データセット上でのBERTの性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2022-10-14T05:56:38Z)
• Training Debiased Subnetworks with Contrastive Weight Pruning [45.27261440157806]
  我々は、未バイアスのスパイラスワークの探索において、既存のアルゴリズムの潜在的な制限を警告する理論的な洞察を示す。 そこで我々は,構造学習におけるバイアス強調サンプルの重要性を解明した。 これらの観測により,高価なグループアノテーションを使わずに非バイアス処理を探索するDCWPアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-11T08:25:47Z)
• Unsupervised Learning of Unbiased Visual Representations [10.871587311621974]
  ディープニューラルネットワークは、データセットにバイアスが存在するときに堅牢な表現を学習できないことで知られている。 我々は3つのステップからなる完全に教師なしの脱バイアスフレームワークを提案する。 我々は、非バイアスモデルを得るために最先端の教師付き脱バイアス技術を採用している。
  論文  参考訳（メタデータ） (2022-04-26T10:51:50Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。