論文の概要: Sifer: Overcoming simplicity bias in deep networks using a feature sieve

• arxiv url: http://arxiv.org/abs/2301.13293v1
• Date: Mon, 30 Jan 2023 21:11:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 18:27:13.748529
• Title: Sifer: Overcoming simplicity bias in deep networks using a feature sieve
• Title（参考訳）: sifer: 機能シーブを使ってディープネットワークの単純さバイアスを克服する
• Authors: Rishabh Tiwari, Pradeep Shenoy
• Abstract要約: 本稿では,深層ネットワークにおける単純さバイアスに対処するための直接的,介入的手法を提案する。 ネットワークの下位層で容易に計算可能なスプリアス機能を自動的に識別し,抑制することを目的としている。 実世界のデバイアスのベンチマークでは,かなりの増加が報告されている。
• 参考スコア（独自算出の注目度）: 5.33024001730262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Simplicity bias is the concerning tendency of deep networks to over-depend on simple, weakly predictive features, to the exclusion of stronger, more complex features. This causes biased, incorrect model predictions in many real-world applications, exacerbated by incomplete training data containing spurious feature-label correlations. We propose a direct, interventional method for addressing simplicity bias in DNNs, which we call the feature sieve. We aim to automatically identify and suppress easily-computable spurious features in lower layers of the network, thereby allowing the higher network levels to extract and utilize richer, more meaningful representations. We provide concrete evidence of this differential suppression & enhancement of relevant features on both controlled datasets and real-world images, and report substantial gains on many real-world debiasing benchmarks (11.4% relative gain on Imagenet-A; 3.2% on BAR, etc). Crucially, we outperform many baselines that incorporate knowledge about known spurious or biased attributes, despite our method not using any such information. We believe that our feature sieve work opens up exciting new research directions in automated adversarial feature extraction & representation learning for deep networks.
• Abstract（参考訳）: 単純さバイアス(Simplicity bias)とは、より強くより複雑な特徴を排除し、単純で弱い予測的特徴に深く依存するディープネットワークの傾向である。 これは、多くの実世界のアプリケーションにおいてバイアス付き不正確なモデル予測を引き起こし、突発的な特徴ラベル相関を含む不完全なトレーニングデータによって悪化する。 本稿では,DNNにおける単純さバイアスに対処するための直接的,介入的手法を提案する。 我々は,ネットワークの下位層で容易に計算可能なスプリアス機能を自動的に識別し,抑制することを目指しており,より高いネットワークレベルがよりリッチで意味のある表現を抽出し,活用できるようにする。 我々は、制御されたデータセットと実世界の画像の両方に関連した特徴のこの差分抑制と強化の具体的な証拠を提供し、多くの実世界のデバイアスベンチマーク(Imagenet-Aでは11.4%、BARでは3.2%)でかなりの利得を報告している。 重要なのは、このような情報を使用しない方法にもかかわらず、既知のスプリアス属性やバイアス属性に関する知識を組み込んだ多くのベースラインよりも優れています。 深層ネットワークにおける特徴抽出と表現学習の自動化において,我々の機能シーブ作業がエキサイティングな新たな研究方向を開くと信じています。

関連論文リスト

• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Simplicity Bias of Two-Layer Networks beyond Linearly Separable Data [4.14360329494344]
  重みが小さい2層ニューラルネットワークの文脈における一般データセットの単純さバイアスを特徴付け、勾配流を訓練する。 XORのようなパターンを持つデータセットに対しては、学習した特徴を正確に識別し、後続のトレーニング段階で単純さのバイアスが強まることを示す。 これらの結果から,訓練中期に学習した特徴がOOD伝達に有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-27T16:00:45Z)
• Hierarchical Simplicity Bias of Neural Networks [0.0]
  非平衡ラベル結合と呼ばれる新しい手法を導入し、この単純さのバイアスを階層的なレベルにわたって探索し、拡張する。 提案手法は,トレーニングセット内のラベルとの相関に基づいて,複雑性を増大させる特徴を逐次考慮していることを示す。
  論文  参考訳（メタデータ） (2023-11-05T11:27:03Z)
• Implicit Visual Bias Mitigation by Posterior Estimate Sharpening of a Bayesian Neural Network [7.488317734152586]
  ベイズニューラルネットワークを用いた新しい暗黙的緩和法を提案する。 提案手法は,高い不確実性に寄与しないコア特徴に注目することを促す。
  論文  参考訳（メタデータ） (2023-03-29T09:47:35Z)
• Look Beyond Bias with Entropic Adversarial Data Augmentation [4.893694715581673]
  ディープニューラルネットワークは、スパイラルパターンと因果パターンを区別せず、他を無視しながら最も予測的なパターンのみを学ぶ。 ネットワークをこのような刺激的なバイアスに頑健にするためにデバイアス法が開発されたが、データセットがバイアスを受けているかどうかを事前に知る必要がある。 本稿では,「隠された」因果情報がバイアス画像に含まれる場合が多いため,このようなサンプルは必ずしも必要ではない,と論じる。
  論文  参考訳（メタデータ） (2023-01-10T08:25:24Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• Correlation-Aware Deep Tracking [83.51092789908677]
  本稿では,自己/横断的意図に着想を得た,新たなターゲット依存型特徴ネットワークを提案する。 我々のネットワークは機能ネットワークの複数の層にクロスイメージの特徴相関を深く埋め込んでいる。 我々のモデルは、豊富な未ペア画像に対して柔軟に事前訓練が可能であり、既存の手法よりも顕著に高速な収束をもたらす。
  論文  参考訳（メタデータ） (2022-03-03T11:53:54Z)
• Learning Deep Interleaved Networks with Asymmetric Co-Attention for Image Restoration [65.11022516031463]
  本稿では,高品質(本社)画像再構成のために,異なる状態の情報をどのように組み合わせるべきかを学習するディープインターリーブドネットワーク(DIN)を提案する。 本稿では,各インターリーブノードにアタッチメントされた非対称なコアテンション(AsyCA)を提案し,その特性依存性をモデル化する。 提案したDINはエンドツーエンドで訓練でき、様々な画像復元タスクに適用できる。
  論文  参考訳（メタデータ） (2020-10-29T15:32:00Z)
• Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
  本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。 RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。 ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
  論文  参考訳（メタデータ） (2020-03-16T16:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。