論文の概要: Faster ISNet for Background Bias Mitigation on Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2401.08409v1
- Date: Tue, 16 Jan 2024 14:49:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 13:52:11.276435
- Title: Faster ISNet for Background Bias Mitigation on Deep Neural Networks
- Title(参考訳): ディープニューラルネットワークによるバックグラウンドバイアス軽減のための高速ISNet
- Authors: Pedro R. A. S. Bassi, Sergio Decherchi and Andrea Cavalli
- Abstract要約: ニューラルネットワークアーキテクチャであるISNetは最近、ISNetという名前のニューラルネットワークアーキテクチャによって導入された。
LRPマップの背景関係を最小化し、画像背景特徴が深い分類器決定に与える影響を軽減する。
ここでは、この数からトレーニング時間が独立し、最適化プロセスがより高速になるように、再構成されたアーキテクチャを導入する。
- 参考スコア(独自算出の注目度): 0.5524804393257919
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image background features can constitute background bias (spurious
correlations) and impact deep classifiers decisions, causing shortcut learning
(Clever Hans effect) and reducing the generalization skill on real-world data.
The concept of optimizing Layer-wise Relevance Propagation (LRP) heatmaps, to
improve classifier behavior, was recently introduced by a neural network
architecture named ISNet. It minimizes background relevance in LRP maps, to
mitigate the influence of image background features on deep classifiers
decisions, hindering shortcut learning and improving generalization. For each
training image, the original ISNet produces one heatmap per possible class in
the classification task, hence, its training time scales linearly with the
number of classes. Here, we introduce reformulated architectures that allow the
training time to become independent from this number, rendering the
optimization process much faster. We challenged the enhanced models utilizing
the MNIST dataset with synthetic background bias, and COVID-19 detection in
chest X-rays, an application that is prone to shortcut learning due to
background bias. The trained models minimized background attention and hindered
shortcut learning, while retaining high accuracy. Considering external
(out-of-distribution) test datasets, they consistently proved more accurate
than multiple state-of-the-art deep neural network architectures, including a
dedicated image semantic segmenter followed by a classifier. The architectures
presented here represent a potentially massive improvement in training speed
over the original ISNet, thus introducing LRP optimization into a gamut of
applications that could not be feasibly handled by the original model.
- Abstract(参考訳): 背景画像の特徴は背景バイアス(spurious correlations)を構成し、深層分類器の決定に影響を与え、ショートカット学習(Clever Hans effect)を引き起こし、現実世界のデータに対する一般化スキルを低下させる。
分類器の振る舞いを改善するためにレイヤワイド・レバレンス・プロパゲーション(LRP)ヒートマップを最適化するというコンセプトは、ISNetというニューラルネットワークアーキテクチャによって最近導入された。
LRPマップの背景関係を最小化し、画像背景の特徴が深い分類器決定に与える影響を緩和し、ショートカット学習を妨げ、一般化を改善する。
トレーニング画像毎に、元のisnetは分類タスクで可能なクラス毎に1つのヒートマップを生成するため、トレーニング時間はクラス数に線形にスケールする。
そこで本稿では,この数値から学習時間が独立し,最適化プロセスがより高速になるように,学習時間を短縮したアーキテクチャを紹介する。
背景バイアスによる学習のショートカットが難しい胸部X線におけるMNISTデータセットとCOVID-19検出を併用した強化モデルに挑戦した。
トレーニングされたモデルは、バックグラウンドの注意を最小化し、高精度を維持しながらショートカット学習を妨げる。
外部(配布外)のテストデータセットを考慮すると、専用のイメージセマンティックセグメンタとそれに続く分類器を含む、複数の最先端のディープニューラルネットワークアーキテクチャよりも一貫して正確であることが証明された。
ここで提示されたアーキテクチャは、元のisnetよりもトレーニング速度が大幅に向上する可能性を示しており、lrp最適化を元のモデルでは実現不可能なアプリケーションの範囲に導入している。
関連論文リスト
- Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳(メタデータ) (2022-11-15T10:15:21Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2022-10-23T18:37:22Z) - Adaptive Convolutional Dictionary Network for CT Metal Artifact
Reduction [62.691996239590125]
本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。
我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。
本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
論文 参考訳(メタデータ) (2022-05-16T06:49:36Z) - Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。
分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
論文 参考訳(メタデータ) (2022-02-10T21:45:49Z) - Improving deep neural network generalization and robustness to
background bias via layer-wise relevance propagation optimization [0.0]
画像の背景の特徴は、背景バイアスを表す画像のクラスと飛躍的に相関する。
標準的な評価データセットでうまく機能するが、現実のデータにはあまり一般化しないディープニューラルネットワーク(DNN)。
本研究では, LRPヒートマップの最適化により, 背景バイアスの影響を最小限に抑えることができることを示す。
論文 参考訳(メタデータ) (2022-02-01T05:58:01Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳(メタデータ) (2021-03-09T14:51:34Z) - Train your classifier first: Cascade Neural Networks Training from upper
layers to lower layers [54.47911829539919]
我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。
本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。
提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
論文 参考訳(メタデータ) (2021-02-09T08:19:49Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳(メタデータ) (2021-02-03T09:30:45Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳(メタデータ) (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。