論文の概要: Fair Visual Recognition in Limited Data Regime using Self-Supervision
and Self-Distillation
- arxiv url: http://arxiv.org/abs/2107.00067v1
- Date: Wed, 30 Jun 2021 19:22:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-02 13:47:54.756375
- Title: Fair Visual Recognition in Limited Data Regime using Self-Supervision
and Self-Distillation
- Title（参考訳）: 自己スーパービジョンと自己蒸留を用いたデータレジームの公正な視覚認識
- Authors: Pratik Mazumder, Pravendra Singh, Vinay P. Namboodiri
- Abstract要約: 我々は、モデルに対するバイアスの影響を低減するために、自己超越と自己蒸留に適応する。
実験によって、我々のアプローチはモデルで学んだバイアスを大幅に削減できることを示した。
提案手法は, 性能を著しく向上させ, 限られたデータ構造におけるモデルバイアスを低減させる。
- 参考スコア（独自算出の注目度）: 31.386413758098243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning models generally learn the biases present in the training data.
Researchers have proposed several approaches to mitigate such biases and make
the model fair. Bias mitigation techniques assume that a sufficiently large
number of training examples are present. However, we observe that if the
training data is limited, then the effectiveness of bias mitigation methods is
severely degraded. In this paper, we propose a novel approach to address this
problem. Specifically, we adapt self-supervision and self-distillation to
reduce the impact of biases on the model in this setting. Self-supervision and
self-distillation are not used for bias mitigation. However, through this work,
we demonstrate for the first time that these techniques are very effective in
bias mitigation. We empirically show that our approach can significantly reduce
the biases learned by the model. Further, we experimentally demonstrate that
our approach is complementary to other bias mitigation strategies. Our approach
significantly improves their performance and further reduces the model biases
in the limited data regime. Specifically, on the L-CIFAR-10S skewed dataset,
our approach significantly reduces the bias score of the baseline model by
78.22% and outperforms it in terms of accuracy by a significant absolute margin
of 8.89%. It also significantly reduces the bias score for the state-of-the-art
domain independent bias mitigation method by 59.26% and improves its
performance by a significant absolute margin of 7.08%.
- Abstract（参考訳）: ディープラーニングモデルは一般的に、トレーニングデータに存在するバイアスを学ぶ。
研究者はそのようなバイアスを緩和し、モデルを公平にするためのいくつかのアプローチを提案している。
バイアス緩和技術は、十分な数のトレーニング例が存在すると仮定する。
しかし, トレーニングデータに制限がある場合, バイアス緩和法の有効性は著しく低下する。
本稿では,この問題に対処するための新しいアプローチを提案する。
具体的には、この設定におけるモデルに対するバイアスの影響を減らすために、自己スーパービジョンと自己蒸留を適応させる。
自己超越と自己蒸留はバイアス緩和には使われない。
しかし,本研究を通じて,これらの手法がバイアス軽減に非常に有効であることを初めて実証する。
実験によって、我々のアプローチはモデルから学んだバイアスを大幅に削減できることを示した。
さらに,本手法が他のバイアス緩和戦略と相補的であることを示す。
提案手法は, 性能を著しく向上させ, 限られたデータ構造におけるモデルバイアスを低減させる。
具体的には, L-CIFAR-10Sスキュードデータセットにおいて, ベースラインモデルのバイアススコアを78.22%削減し, 8.89%の絶対マージンで精度を向上する。
また、最先端のドメイン独立バイアス緩和法におけるバイアススコアを59.26%大幅に削減し、絶対マージン7.08%で性能を向上させる。
関連論文リスト
- How to be fair? A study of label and selection bias [3.018638214344819]
バイアス付きデータがバイアス付きおよび潜在的に不公平なモデルにつながることは広く受け入れられている。
データにおけるバイアスとモデル予測のためのいくつかの尺度が提案され、バイアス軽減技術が提案されている。
過去10年間に開発された無数の緩和技術にもかかわらず、どの方法が機能するかはいまだに理解されていない。
論文 参考訳（メタデータ） (2024-03-21T10:43:55Z) - Hybrid Sample Synthesis-based Debiasing of Classifier in Limited Data
Setting [5.837881923712393]
本稿では,バイアスに関する事前情報を持たない,より実践的な設定に焦点を当てる。
この設定では、モデルがバイアス予測を発生させるようなバイアスアライメントされたサンプルが多数存在する。
トレーニングデータに制限がある場合、バイアスアライメントされたサンプルの影響がモデル予測にさらに強くなる可能性がある。
論文 参考訳（メタデータ） (2023-12-13T17:04:16Z) - Improving Bias Mitigation through Bias Experts in Natural Language
Understanding [10.363406065066538]
補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。
提案手法は補助モデルのバイアス識別能力を向上させる。
論文 参考訳（メタデータ） (2023-12-06T16:15:00Z) - Fast Model Debias with Machine Unlearning [54.32026474971696]
ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。
既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。
バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
論文 参考訳（メタデータ） (2023-10-19T08:10:57Z) - Language Models Get a Gender Makeover: Mitigating Gender Bias with
Few-Shot Data Interventions [50.67412723291881]
事前訓練された大きな言語モデルに存在する社会的バイアスが重要な問題である。
我々は,事前学習モデルにおける性別バイアスを低減するために,データ介入戦略を強力かつ簡単な手法として提案する。
論文 参考訳（メタデータ） (2023-06-07T16:50:03Z) - FITNESS: A Causal De-correlation Approach for Mitigating Bias in Machine
Learning Software [6.4073906779537095]
バイアスデータセットは不公平で潜在的に有害な結果をもたらす可能性がある。
本稿では,感性特徴とラベルの因果関係を関連づけたバイアス緩和手法を提案する。
我々のキーとなる考え方は、因果関係の観点からそのような効果を非相関化することで、モデルが繊細な特徴に基づいて予測することを避けることである。
論文 参考訳（メタデータ） (2023-05-23T06:24:43Z) - Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。
また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。
様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文 参考訳（メタデータ） (2023-02-22T14:50:24Z) - Feature-Level Debiased Natural Language Understanding [86.8751772146264]
既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。
本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。
DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
論文 参考訳（メタデータ） (2022-12-11T06:16:14Z) - Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文 参考訳（メタデータ） (2022-10-17T05:40:13Z) - Learning from others' mistakes: Avoiding dataset biases without modeling
them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。
これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。
本稿では,これらの問題点を無視する学習モデルについて述べる。
論文 参考訳（メタデータ） (2020-12-02T16:10:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。