論文の概要: InBiaseD: Inductive Bias Distillation to Improve Generalization and Robustness through Shape-awareness

• arxiv url: http://arxiv.org/abs/2206.05846v1
• Date: Sun, 12 Jun 2022 21:56:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 13:36:54.998456
• Title: InBiaseD: Inductive Bias Distillation to Improve Generalization and Robustness through Shape-awareness
• Title（参考訳）: InBiaseD:インダクティブバイアス蒸留による形状認識による一般化とロバスト性の向上
• Authors: Shruthi Gowda, Bahram Zonooz, Elahe Arani
• Abstract要約: 人間は、深いニューラルネットワークに比べて、刺激的な相関やテクスチャのような自明な手がかりに頼りません。 本稿では,インダクティブバイアスを蒸留し,ニューラルネットワークに形状認識性をもたらすInBiaseDを提案する。
• 参考スコア（独自算出の注目度）: 12.525959293825318
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Humans rely less on spurious correlations and trivial cues, such as texture, compared to deep neural networks which lead to better generalization and robustness. It can be attributed to the prior knowledge or the high-level cognitive inductive bias present in the brain. Therefore, introducing meaningful inductive bias to neural networks can help learn more generic and high-level representations and alleviate some of the shortcomings. We propose InBiaseD to distill inductive bias and bring shape-awareness to the neural networks. Our method includes a bias alignment objective that enforces the networks to learn more generic representations that are less vulnerable to unintended cues in the data which results in improved generalization performance. InBiaseD is less susceptible to shortcut learning and also exhibits lower texture bias. The better representations also aid in improving robustness to adversarial attacks and we hence plugin InBiaseD seamlessly into the existing adversarial training schemes to show a better trade-off between generalization and robustness.
• Abstract（参考訳）: 人間は、より一般化と堅牢性をもたらすディープニューラルネットワークに比べて、スプリケートな相関やテクスチャのような自明な手がかりに頼らない。 これは、事前の知識や、脳に存在する高いレベルの認知誘発バイアスに起因する可能性がある。 したがって、ニューラルネットワークに有意義な帰納バイアスを導入することで、より汎用的でハイレベルな表現を学び、いくつかの欠点を軽減することができる。 本稿では,インダクティブバイアスを蒸留し,ニューラルネットワークに形状認識性をもたらすInBiaseDを提案する。 提案手法は,データ中の意図しない手がかりに弱いより汎用的な表現をネットワークに学習させることにより,一般化性能を向上させるバイアスアライメント目的を含む。 InBiaseDはショートカット学習の影響を受けにくく、テクスチャバイアスも低い。 より優れた表現は、敵攻撃に対するロバスト性の改善にも役立ち、従って既存の敵訓練スキームにInBiaseDをシームレスにプラグインし、一般化とロバスト性の間のトレードオフをより良く示す。

関連論文リスト

• Debiasify: Self-Distillation for Unsupervised Bias Mitigation [19.813054813868476]
  単純性バイアスはニューラルネットワークにおいて重要な課題となり、しばしばモデルがより単純な解を好んで、急激な相関による決定規則を不注意に学習する。 バイアスの性質に関する事前の知識を必要としない新しい自己蒸留アプローチであるDebiasifyを紹介します。 提案手法は, 複雑で高精度な特徴を含む深い層から, より単純な特性条件を持つ浅層へと, ネットワーク内の知識を伝達するために, 新たな蒸留損失を生かしている。
  論文  参考訳（メタデータ） (2024-11-01T16:25:05Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical Development Patterns of Preterm Infants [73.85768093666582]
  我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。 NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
  論文  参考訳（メタデータ） (2023-01-01T12:48:12Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Neuron with Steady Response Leads to Better Generalization [31.64957274989468]
  本稿では,ニューロン内応答のばらつきを低減するために,ニューロン定常正規化と呼ばれる新しい正規化手法を提案する。 我々は、多層知覚、畳み込みニューラルネットワーク、グラフニューラルネットワークについて、様々なドメインの一般的なベンチマークデータセットを用いて実験を行う。
  論文  参考訳（メタデータ） (2021-11-30T14:08:29Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Relationship between manifold smoothness and adversarial vulnerability in deep learning with local errors [2.7834038784275403]
  ニューラルネットワークにおける敵の脆弱性の起源について検討する。 本研究は,隠れ表現の固有スペクトルの比較的高速なパワーロー崩壊を必要とすることを明らかにする。
  論文  参考訳（メタデータ） (2020-07-04T08:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。