論文の概要: Improving deep neural network generalization and robustness to background bias via layer-wise relevance propagation optimization

• arxiv url: http://arxiv.org/abs/2202.00232v7
• Date: Wed, 10 Jan 2024 20:20:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-13 04:26:40.100695
• Title: Improving deep neural network generalization and robustness to background bias via layer-wise relevance propagation optimization
• Title（参考訳）: 層間相関伝播最適化によるディープニューラルネットワークの一般化と背景バイアスに対するロバスト性の改善
• Authors: Pedro R. A. S. Bassi, Sergio S. J. Dertkigil and Andrea Cavalli
• Abstract要約: 画像の背景の特徴は、背景バイアスを表す画像のクラスと飛躍的に相関する。 標準的な評価データセットでうまく機能するが、現実のデータにはあまり一般化しないディープニューラルネットワーク(DNN)。 本研究では, LRPヒートマップの最適化により, 背景バイアスの影響を最小限に抑えることができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Features in images' backgrounds can spuriously correlate with the images' classes, representing background bias. They can influence the classifier's decisions, causing shortcut learning (Clever Hans effect). The phenomenon generates deep neural networks (DNNs) that perform well on standard evaluation datasets but generalize poorly to real-world data. Layer-wise Relevance Propagation (LRP) explains DNNs' decisions. Here, we show that the optimization of LRP heatmaps can minimize the background bias influence on deep classifiers, hindering shortcut learning. By not increasing run-time computational cost, the approach is light and fast. Furthermore, it applies to virtually any classification architecture. After injecting synthetic bias in images' backgrounds, we compared our approach (dubbed ISNet) to eight state-of-the-art DNNs, quantitatively demonstrating its superior robustness to background bias. Mixed datasets are common for COVID-19 and tuberculosis classification with chest X-rays, fostering background bias. By focusing on the lungs, the ISNet reduced shortcut learning. Thus, its generalization performance on external (out-of-distribution) test databases significantly surpassed all implemented benchmark models.
• Abstract（参考訳）: 画像の背景の特徴は、背景バイアスを表す画像のクラスと飛躍的に相関する。 それらは分類器の決定に影響を与え、近距離学習(clever hans effect)を引き起こす。 この現象は、標準的な評価データセットでよく機能する深層ニューラルネットワーク(DNN)を生成する。 レイヤワイド・レバレンス・プロパゲーション(LRP)はDNNの決定を説明する。 本稿では,LRPヒートマップの最適化により,深層分類器の背景バイアスの影響を最小限に抑えることができ,ショートカット学習を阻害できることを示す。 実行時の計算コストを増加させないことで、アプローチは軽量かつ高速になる。 さらに、事実上どんな分類アーキテクチャにも適用される。 画像の背景に合成バイアスを注入した後、我々のアプローチ(ISNet)を8つの最先端DNNと比較し、背景バイアスに優れた堅牢性を定量的に示す。 混合データセットは、背景バイアスを助長する胸部x線によるcovid-19と結核の分類に共通している。 肺に焦点を当てることで、ISNetはショートカット学習を減らした。 したがって、外部(配布外)テストデータベースにおける一般化性能は、実装されたベンチマークモデル全てを大幅に上回った。

関連論文リスト

• Bias of Stochastic Gradient Descent or the Architecture: Disentangling the Effects of Overparameterization of Neural Networks [37.02386277426315]
  本稿では,学習ミスをゼロにするランダムネットワークとSGD最適化ネットワークを研究することによって,一般化に影響を与える要因を解消することを目的とする。 実験により, 低試料状態下では, 幅の増大によるパラメータ化が一般化に有用であることが確認された。 深度を増大させるため、パラメータ化は一般化には有害であるが、ランダムおよびSGD最適化ネットワークも同様に振る舞うので、これはアーキテクチャ上のバイアスに起因する。
  論文  参考訳（メタデータ） (2024-07-04T11:29:50Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [74.77883794668324]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• Faster ISNet for Background Bias Mitigation on Deep Neural Networks [0.4915744683251149]
  画像背景のバイアスや刺激的な相関はニューラルネットワークに影響を与え、ショートカット学習を引き起こし、現実世界のデータへの一般化を妨げる。 本稿では,この数からトレーニング時間が独立したアーキテクチャを提案する。 我々は、合成背景バイアスと、一般的に背景バイアスを示すアプリケーションである胸部X線における新型コロナウイルス検出を用いて、提案したアーキテクチャに挑戦する。
  論文  参考訳（メタデータ） (2024-01-16T14:49:26Z)
• Chasing Fairness in Graphs: A GNN Architecture Perspective [73.43111851492593]
  グラフニューラルネットワーク(GNN)の統一最適化フレームワーク内で設計されたtextsfFair textsfMessage textsfPassing(FMP)を提案する。 FMPでは、アグリゲーションがまず隣人の情報を活用するために採用され、バイアス軽減ステップにより、人口集団ノードのプレゼンテーションセンタが明示的に統合される。 ノード分類タスクの実験により、提案されたFMPは、実世界の3つのデータセットの公平性と正確性の観点から、いくつかのベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-19T18:00:15Z)
• CLAD: A Contrastive Learning based Approach for Background Debiasing [43.0296255565593]
  我々は,CNNにおける背景バイアスを軽減するために,対照的な学習に基づくアプローチを導入する。 前回のベンチマークを4.1%で上回り、バックグラウンドチャレンジデータセットで最先端の結果を得た。
  論文  参考訳（メタデータ） (2022-10-06T08:33:23Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Contrasting random and learned features in deep Bayesian linear regression [12.234742322758418]
  本研究では,学習能力が単純なモデルの一般化性能に与える影響について検討する。 すべての層が訓練されたディープネットワークと比較することにより、幅、深さ、データ密度、事前のミスマッチの相互作用を詳細に解析する。
  論文  参考訳（メタデータ） (2022-03-01T15:51:29Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。