論文の概要: Faster ISNet for Background Bias Mitigation on Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2401.08409v1
• Date: Tue, 16 Jan 2024 14:49:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 13:52:11.276435
• Title: Faster ISNet for Background Bias Mitigation on Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークによるバックグラウンドバイアス軽減のための高速ISNet
• Authors: Pedro R. A. S. Bassi, Sergio Decherchi and Andrea Cavalli
• Abstract要約: ニューラルネットワークアーキテクチャであるISNetは最近、ISNetという名前のニューラルネットワークアーキテクチャによって導入された。 LRPマップの背景関係を最小化し、画像背景特徴が深い分類器決定に与える影響を軽減する。 ここでは、この数からトレーニング時間が独立し、最適化プロセスがより高速になるように、再構成されたアーキテクチャを導入する。
• 参考スコア（独自算出の注目度）: 0.5524804393257919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image background features can constitute background bias (spurious correlations) and impact deep classifiers decisions, causing shortcut learning (Clever Hans effect) and reducing the generalization skill on real-world data. The concept of optimizing Layer-wise Relevance Propagation (LRP) heatmaps, to improve classifier behavior, was recently introduced by a neural network architecture named ISNet. It minimizes background relevance in LRP maps, to mitigate the influence of image background features on deep classifiers decisions, hindering shortcut learning and improving generalization. For each training image, the original ISNet produces one heatmap per possible class in the classification task, hence, its training time scales linearly with the number of classes. Here, we introduce reformulated architectures that allow the training time to become independent from this number, rendering the optimization process much faster. We challenged the enhanced models utilizing the MNIST dataset with synthetic background bias, and COVID-19 detection in chest X-rays, an application that is prone to shortcut learning due to background bias. The trained models minimized background attention and hindered shortcut learning, while retaining high accuracy. Considering external (out-of-distribution) test datasets, they consistently proved more accurate than multiple state-of-the-art deep neural network architectures, including a dedicated image semantic segmenter followed by a classifier. The architectures presented here represent a potentially massive improvement in training speed over the original ISNet, thus introducing LRP optimization into a gamut of applications that could not be feasibly handled by the original model.
• Abstract（参考訳）: 背景画像の特徴は背景バイアス(spurious correlations)を構成し、深層分類器の決定に影響を与え、ショートカット学習(Clever Hans effect)を引き起こし、現実世界のデータに対する一般化スキルを低下させる。 分類器の振る舞いを改善するためにレイヤワイド・レバレンス・プロパゲーション(LRP)ヒートマップを最適化するというコンセプトは、ISNetというニューラルネットワークアーキテクチャによって最近導入された。 LRPマップの背景関係を最小化し、画像背景の特徴が深い分類器決定に与える影響を緩和し、ショートカット学習を妨げ、一般化を改善する。 トレーニング画像毎に、元のisnetは分類タスクで可能なクラス毎に1つのヒートマップを生成するため、トレーニング時間はクラス数に線形にスケールする。 そこで本稿では,この数値から学習時間が独立し,最適化プロセスがより高速になるように,学習時間を短縮したアーキテクチャを紹介する。 背景バイアスによる学習のショートカットが難しい胸部X線におけるMNISTデータセットとCOVID-19検出を併用した強化モデルに挑戦した。 トレーニングされたモデルは、バックグラウンドの注意を最小化し、高精度を維持しながらショートカット学習を妨げる。 外部(配布外)のテストデータセットを考慮すると、専用のイメージセマンティックセグメンタとそれに続く分類器を含む、複数の最先端のディープニューラルネットワークアーキテクチャよりも一貫して正確であることが証明された。 ここで提示されたアーキテクチャは、元のisnetよりもトレーニング速度が大幅に向上する可能性を示しており、lrp最適化を元のモデルでは実現不可能なアプリケーションの範囲に導入している。

関連論文リスト

• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Improving deep neural network generalization and robustness to background bias via layer-wise relevance propagation optimization [0.0]
  画像の背景の特徴は、背景バイアスを表す画像のクラスと飛躍的に相関する。 標準的な評価データセットでうまく機能するが、現実のデータにはあまり一般化しないディープニューラルネットワーク(DNN)。 本研究では, LRPヒートマップの最適化により, 背景バイアスの影響を最小限に抑えることができることを示す。
  論文  参考訳（メタデータ） (2022-02-01T05:58:01Z)
• SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and Residual Connections for Structure Preserving Object Classification [28.02302915971059]
  本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。 提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。 提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
  論文  参考訳（メタデータ） (2021-10-06T13:54:49Z)
• An optimised deep spiking neural network architecture without gradients [7.183775638408429]
  本稿では、局所シナプスおよびしきい値適応ルールを用いたエンドツーエンドのトレーニング可能なモジュラーイベント駆動ニューラルアーキテクチャを提案する。 このアーキテクチャは、既存のスパイキングニューラルネットワーク(SNN)アーキテクチャの高度に抽象化されたモデルを表している。
  論文  参考訳（メタデータ） (2021-09-27T05:59:12Z)
• Spatio-Temporal Recurrent Networks for Event-Based Optical Flow Estimation [47.984368369734995]
  本稿では,イベントベース光フロー推定のためのニューラルネットアーキテクチャを提案する。 このネットワークは、Multi-Vehicle Stereo Event Cameraデータセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。 既存の最先端の手法を大きなマージンで上回る結果が得られた。
  論文  参考訳（メタデータ） (2021-09-10T13:37:37Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
  本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。 既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。 移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T11:40:09Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。