論文の概要: The Overfocusing Bias of Convolutional Neural Networks: A Saliency-Guided Regularization Approach

• arxiv url: http://arxiv.org/abs/2409.17370v1
• Date: Wed, 25 Sep 2024 21:30:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-30 11:54:28.955706
• Title: The Overfocusing Bias of Convolutional Neural Networks: A Saliency-Guided Regularization Approach
• Title（参考訳）: 畳み込みニューラルネットワークの過度バイアス:正則化アプローチ
• Authors: David Bertoin, Eduardo Hugo Sanchez, Mehdi Zouitine, Emmanuel Rachelson,
• Abstract要約: CNNは入力画像の狭い特定の領域に基づいて決定を行う。 この振る舞いはモデルの一般化能力を著しく損なう可能性がある。 この問題に対処するために、SGDrop(Saliency Guided Dropout)を紹介します。
• 参考スコア（独自算出の注目度）: 11.524573224123905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite transformers being considered as the new standard in computer vision, convolutional neural networks (CNNs) still outperform them in low-data regimes. Nonetheless, CNNs often make decisions based on narrow, specific regions of input images, especially when training data is limited. This behavior can severely compromise the model's generalization capabilities, making it disproportionately dependent on certain features that might not represent the broader context of images. While the conditions leading to this phenomenon remain elusive, the primary intent of this article is to shed light on this observed behavior of neural networks. Our research endeavors to prioritize comprehensive insight and to outline an initial response to this phenomenon. In line with this, we introduce Saliency Guided Dropout (SGDrop), a pioneering regularization approach tailored to address this specific issue. SGDrop utilizes attribution methods on the feature map to identify and then reduce the influence of the most salient features during training. This process encourages the network to diversify its attention and not focus solely on specific standout areas. Our experiments across several visual classification benchmarks validate SGDrop's role in enhancing generalization. Significantly, models incorporating SGDrop display more expansive attributions and neural activity, offering a more comprehensive view of input images in contrast to their traditionally trained counterparts.
• Abstract（参考訳）: コンピュータビジョンにおける新しい標準としてトランスフォーマーが検討されているにもかかわらず、畳み込みニューラルネットワーク(CNN)は、低データレジームにおいてそれを上回っている。 それにもかかわらず、CNNは入力画像の狭い特定の領域に基づいて決定することが多い。 この振る舞いはモデルの一般化能力を著しく損なう可能性があり、画像のより広い文脈を表現できないような特定の特徴に依存しない。 この現象に繋がる条件はいまだ解明されていないが、この記事では、ニューラルネットワークの観測行動に光を当てることを目的としている。 我々の研究は、総合的な洞察を優先し、この現象に対する最初の反応を概説する。 これに合わせて、この問題に対処するための先駆的な正規化アプローチであるSGDrop(Saliency Guided Dropout)を紹介します。 SGDropは、特徴マップ上の属性手法を使用して、トレーニング中に最も顕著な特徴の影響を識別し、低減する。 このプロセスは、ネットワークの注意を多様化させ、特定のスタンドアウト領域のみに焦点を絞らないようにする。 いくつかの視覚分類ベンチマークを用いた実験により,一般化の促進におけるSGDropの役割が検証された。 重要なことに、SGDropを組み込んだモデルは、従来の訓練されたものと対照的に、入力画像のより包括的なビューを提供する、より広範な属性と神経活動を表示する。

関連論文リスト

• Enhancing Fine-Grained Visual Recognition in the Low-Data Regime Through Feature Magnitude Regularization [23.78498670529746]
  抽出した特徴量の均等分布を保証するために正規化手法を導入する。 その明らかな単純さにもかかわらず、我々の手法は様々な細粒度視覚認識データセットに対して顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2024-09-03T07:32:46Z)
• A Primal-Dual Framework for Transformers and Neural Networks [52.814467832108875]
  自己注意は、シーケンスモデリングタスクにおけるトランスフォーマーの顕著な成功の鍵である。 自己アテンションは、支持ベクトル回帰問題から導かれる支持ベクトル展開に対応することを示す。 Batch Normalized Attention (Attention-BN) と Scaled Head (Attention-SH) の2つの新しい注意点を提案する。
  論文  参考訳（メタデータ） (2024-06-19T19:11:22Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
  ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。 本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。 我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。 本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-01T20:15:15Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Wide Network Learning with Differential Privacy [7.453881927237143]
  現在のニューラルネットの世代は、最も実質的に関連するプライバシトレーニング体制下で大きな損失を被っている。 プライベートな経験最小化(ERM)の勾配を生かしたこれらのモデルを訓練するための一般的なアプローチを開発する。 同じパラメータの数に従って、ニューラルネットワークをプライベートにトレーニングするための新しいアルゴリズムを提案します。
  論文  参考訳（メタデータ） (2021-03-01T20:31:50Z)
• A Singular Value Perspective on Model Robustness [14.591622269748974]
  我々は、自然に訓練され、逆向きに堅牢なCNNが、同じデータセットに対して非常に異なる特徴を利用することを示す。 画像ランクに対するCNNの依存性を理解するために,最初のランクベース特徴属性法であるランク統合勾配(RIG)を提案する。
  論文  参考訳（メタデータ） (2020-12-07T08:09:07Z)
• Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models [103.64435911083432]
  PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。 PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。 また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
  論文  参考訳（メタデータ） (2020-12-06T20:30:26Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• $\P$ILCRO: Making Importance Landscapes Flat Again [7.047473967702792]
  本稿は、既存の畳み込みアーキテクチャの大部分が、初期化において、特定の特徴のランドスケープを定義していることを示す。 画素単位のランドスケープ曲線正規化対象物に対する P-objective または PILCRO を導出する。 一般的なコンピュータビジョンネットワークのP正規化バージョンは、平坦なランドスケープを持ち、より高速なトレーニングを行い、その結果、精度が向上し、テスト時のノイズに対してより堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-01-27T11:20:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。