論文の概要: Towards Ignoring Backgrounds and Improving Generalization: a Costless
DNN Visual Attention Mechanism
- arxiv url: http://arxiv.org/abs/2202.00232v6
- Date: Fri, 23 Jun 2023 22:41:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 01:36:53.309172
- Title: Towards Ignoring Backgrounds and Improving Generalization: a Costless
DNN Visual Attention Mechanism
- Title（参考訳）: 背景を無視して一般化を改善する:コストレスdnn視覚注意機構
- Authors: Pedro R. A. S. Bassi, Sergio S. J. Dertkigil and Andrea Cavalli
- Abstract要約: 画像分類器の注意機構と、ISNetと呼ばれる深層ニューラルネットワークアーキテクチャを導入する。
トレーニング中、ISNetはセグメンテーションターゲットを使用して、画像の関心領域を見つける方法を学び、注意を集中する。
これは、実行時に余分な計算コストなしで、事実上あらゆる分類されたニューラルネットワークアーキテクチャに適用できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This work introduces an attention mechanism for image classifiers and the
corresponding deep neural network (DNN) architecture, dubbed ISNet. During
training, the ISNet uses segmentation targets to learn how to find the image's
region of interest and concentrate its attention on it. The proposal is based
on a novel concept, background relevance minimization in LRP explanation
heatmaps. It can be applied to virtually any classification neural network
architecture, without any extra computational cost at run-time. Capable of
ignoring the background, the resulting single DNN can substitute the common
pipeline of a segmenter followed by a classifier, being faster and lighter.
After injecting synthetic bias in images' backgrounds (in diverse
applications), we compare the ISNet to multiple state-of-the-art neural
networks, and quantitatively demonstrate its superior capacity of minimizing
the bias influence over the classifier decisions. The tasks of COVID-19 and
tuberculosis detection in chest X-rays commonly employ mixed training
databases, which naturally foster background bias and shortcut learning. By
focusing on lungs, the ISNet reduced shortcut learning, leading to
significantly superior generalization to external (out-of-distribution) test
datasets. ISNet presents an accurate, fast, and light methodology to ignore
backgrounds and improve generalization.
- Abstract（参考訳）: 本稿では,画像分類器に対する注意機構と,それに対応するディープニューラルネットワーク(dnn)アーキテクチャについて紹介する。
トレーニング中、ISNetはセグメンテーションターゲットを使用して、画像の関心領域を見つける方法を学び、注意を集中する。
この提案は、LRP説明熱マップにおける背景関連最小化という新しい概念に基づいている。
これは、実行時に余分な計算コストなしで、事実上あらゆる分類されたニューラルネットワークアーキテクチャに適用できる。
バックグラウンドを無視できるため、単一のDNNはセグメンタの共通パイプラインに代えて、より高速で軽量な分類器を使用することができる。
画像の背景に合成バイアス(多種多様な応用)を注入した後、ISNetを複数の最先端ニューラルネットワークと比較し、分類器決定に対するバイアスの影響を最小限に抑える優れた能力を定量的に示す。
胸部x線におけるcovid-19と結核検出のタスクは、背景バイアスと近距離学習を自然に促進する混合トレーニングデータベースを使用することが多い。
肺に焦点を当てることで、ISNetはショートカット学習を減らし、外部(アウト・オブ・ディストリビューション)テストデータセットにかなり優れた一般化をもたらした。
ISNetは、背景を無視し、一般化を改善するための正確で高速で軽量な方法論を提供する。
関連論文リスト
- Bias of Stochastic Gradient Descent or the Architecture: Disentangling the Effects of Overparameterization of Neural Networks [37.02386277426315]
本稿では,学習ミスをゼロにするランダムネットワークとSGD最適化ネットワークを研究することによって,一般化に影響を与える要因を解消することを目的とする。
実験により, 低試料状態下では, 幅の増大によるパラメータ化が一般化に有用であることが確認された。
深度を増大させるため、パラメータ化は一般化には有害であるが、ランダムおよびSGD最適化ネットワークも同様に振る舞うので、これはアーキテクチャ上のバイアスに起因する。
論文 参考訳（メタデータ） (2024-07-04T11:29:50Z) - Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。
本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。
本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
論文 参考訳（メタデータ） (2024-02-18T07:49:22Z) - Faster ISNet for Background Bias Mitigation on Deep Neural Networks [0.4915744683251149]
画像背景のバイアスや刺激的な相関はニューラルネットワークに影響を与え、ショートカット学習を引き起こし、現実世界のデータへの一般化を妨げる。
本稿では,この数からトレーニング時間が独立したアーキテクチャを提案する。
我々は、合成背景バイアスと、一般的に背景バイアスを示すアプリケーションである胸部X線における新型コロナウイルス検出を用いて、提案したアーキテクチャに挑戦する。
論文 参考訳（メタデータ） (2024-01-16T14:49:26Z) - Chasing Fairness in Graphs: A GNN Architecture Perspective [73.43111851492593]
グラフニューラルネットワーク(GNN)の統一最適化フレームワーク内で設計されたtextsfFair textsfMessage textsfPassing(FMP)を提案する。
FMPでは、アグリゲーションがまず隣人の情報を活用するために採用され、バイアス軽減ステップにより、人口集団ノードのプレゼンテーションセンタが明示的に統合される。
ノード分類タスクの実験により、提案されたFMPは、実世界の3つのデータセットの公平性と正確性の観点から、いくつかのベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2023-12-19T18:00:15Z) - CLAD: A Contrastive Learning based Approach for Background Debiasing [43.0296255565593]
我々は,CNNにおける背景バイアスを軽減するために,対照的な学習に基づくアプローチを導入する。
前回のベンチマークを4.1%で上回り、バックグラウンドチャレンジデータセットで最先端の結果を得た。
論文 参考訳（メタデータ） (2022-10-06T08:33:23Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-17T04:34:28Z) - Contrasting random and learned features in deep Bayesian linear
regression [12.234742322758418]
本研究では,学習能力が単純なモデルの一般化性能に与える影響について検討する。
すべての層が訓練されたディープネットワークと比較することにより、幅、深さ、データ密度、事前のミスマッチの相互作用を詳細に解析する。
論文 参考訳（メタデータ） (2022-03-01T15:51:29Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳（メタデータ） (2021-03-09T14:51:34Z) - Learning from Failure: Training Debiased Classifier from Biased
Classifier [76.52804102765931]
ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。
本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。
本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
論文 参考訳（メタデータ） (2020-07-06T07:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。