論文の概要: An adversarial feature learning strategy for debiasing neural networks
- arxiv url: http://arxiv.org/abs/2301.13293v2
- Date: Thu, 2 Feb 2023 11:06:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-03 16:44:25.668103
- Title: An adversarial feature learning strategy for debiasing neural networks
- Title(参考訳): ニューラルネットワークのデバイアス化のための対向的特徴学習戦略
- Authors: Rishabh Tiwari, Pradeep Shenoy
- Abstract要約: 本稿では,深層ネットワークにおける単純さバイアスに対処するための直接的,介入的手法を提案する。
ネットワークの下位層で容易に計算可能なスプリアス機能を自動的に識別し,抑制することを目的としている。
実世界のデバイアスのベンチマークでは,かなりの増加が報告されている。
- 参考スコア(独自算出の注目度): 5.33024001730262
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Simplicity bias is the concerning tendency of deep networks to over-depend on
simple, weakly predictive features, to the exclusion of stronger, more complex
features. This causes biased, incorrect model predictions in many real-world
applications, exacerbated by incomplete training data containing spurious
feature-label correlations. We propose a direct, interventional method for
addressing simplicity bias in DNNs, which we call the feature sieve. We aim to
automatically identify and suppress easily-computable spurious features in
lower layers of the network, thereby allowing the higher network levels to
extract and utilize richer, more meaningful representations. We provide
concrete evidence of this differential suppression & enhancement of relevant
features on both controlled datasets and real-world images, and report
substantial gains on many real-world debiasing benchmarks (11.4% relative gain
on Imagenet-A; 3.2% on BAR, etc). Crucially, we outperform many baselines that
incorporate knowledge about known spurious or biased attributes, despite our
method not using any such information. We believe that our feature sieve work
opens up exciting new research directions in automated adversarial feature
extraction & representation learning for deep networks.
- Abstract(参考訳): 単純さバイアス(Simplicity bias)とは、より強くより複雑な特徴を排除し、単純で弱い予測的特徴に深く依存するディープネットワークの傾向である。
これは、多くの実世界のアプリケーションにおいてバイアス付き不正確なモデル予測を引き起こし、突発的な特徴ラベル相関を含む不完全なトレーニングデータによって悪化する。
本稿では,DNNにおける単純さバイアスに対処するための直接的,介入的手法を提案する。
我々は,ネットワークの下位層で容易に計算可能なスプリアス機能を自動的に識別し,抑制することを目指しており,より高いネットワークレベルがよりリッチで意味のある表現を抽出し,活用できるようにする。
我々は、制御されたデータセットと実世界の画像の両方に関連した特徴のこの差分抑制と強化の具体的な証拠を提供し、多くの実世界のデバイアスベンチマーク(Imagenet-Aでは11.4%、BARでは3.2%)でかなりの利得を報告している。
重要なのは、このような情報を使用しない方法にもかかわらず、既知のスプリアス属性やバイアス属性に関する知識を組み込んだ多くのベースラインよりも優れています。
深層ネットワークにおける特徴抽出と表現学習の自動化において,我々の機能シーブ作業がエキサイティングな新たな研究方向を開くと信じています。
関連論文リスト
- Neural Network Pruning by Gradient Descent [7.427858344638741]
我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。
ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。
我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
論文 参考訳(メタデータ) (2023-11-21T11:12:03Z) - Neural Networks Are Implicit Decision Trees: The Hierarchical Simplicity
Bias [0.0]
単純な特徴と複雑な特徴が異なるレベルの予測能力を示すシナリオを考察するために,不均衡ラベル結合と呼ばれる新しい手法を導入する。
トレーニングされたネットワークは、トレーニングセット内のラベルとどのように相関するかに応じて、入力機能の上昇する複雑さを予測します。
この観察は、ニューラルネットワークが刺激的な特徴の存在下でコア特徴を学習しているという直接的な証拠を提供する。
論文 参考訳(メタデータ) (2023-11-05T11:27:03Z) - Implicit Visual Bias Mitigation by Posterior Estimate Sharpening of a
Bayesian Neural Network [7.488317734152586]
ベイズニューラルネットワークを用いた新しい暗黙的緩和法を提案する。
提案手法は,高い不確実性に寄与しないコア特徴に注目することを促す。
論文 参考訳(メタデータ) (2023-03-29T09:47:35Z) - Look Beyond Bias with Entropic Adversarial Data Augmentation [4.893694715581673]
ディープニューラルネットワークは、スパイラルパターンと因果パターンを区別せず、他を無視しながら最も予測的なパターンのみを学ぶ。
ネットワークをこのような刺激的なバイアスに頑健にするためにデバイアス法が開発されたが、データセットがバイアスを受けているかどうかを事前に知る必要がある。
本稿では,「隠された」因果情報がバイアス画像に含まれる場合が多いため,このようなサンプルは必ずしも必要ではない,と論じる。
論文 参考訳(メタデータ) (2023-01-10T08:25:24Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳(メタデータ) (2022-11-21T15:27:22Z) - Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in
Neural Networks [66.76034024335833]
バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。
本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。
我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
論文 参考訳(メタデータ) (2022-10-04T04:01:15Z) - SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。
近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。
本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。
本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
論文 参考訳(メタデータ) (2022-05-31T15:55:37Z) - Correlation-Aware Deep Tracking [83.51092789908677]
本稿では,自己/横断的意図に着想を得た,新たなターゲット依存型特徴ネットワークを提案する。
我々のネットワークは機能ネットワークの複数の層にクロスイメージの特徴相関を深く埋め込んでいる。
我々のモデルは、豊富な未ペア画像に対して柔軟に事前訓練が可能であり、既存の手法よりも顕著に高速な収束をもたらす。
論文 参考訳(メタデータ) (2022-03-03T11:53:54Z) - Learning Deep Interleaved Networks with Asymmetric Co-Attention for
Image Restoration [65.11022516031463]
本稿では,高品質(本社)画像再構成のために,異なる状態の情報をどのように組み合わせるべきかを学習するディープインターリーブドネットワーク(DIN)を提案する。
本稿では,各インターリーブノードにアタッチメントされた非対称なコアテンション(AsyCA)を提案し,その特性依存性をモデル化する。
提案したDINはエンドツーエンドで訓練でき、様々な画像復元タスクに適用できる。
論文 参考訳(メタデータ) (2020-10-29T15:32:00Z) - Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。
RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。
ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
論文 参考訳(メタデータ) (2020-03-16T16:54:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。