論文の概要: PushPull-Net: Inhibition-driven ResNet robust to image corruptions

• arxiv url: http://arxiv.org/abs/2408.04077v2
• Date: Fri, 13 Sep 2024 19:57:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 01:06:42.663929
• Title: PushPull-Net: Inhibition-driven ResNet robust to image corruptions
• Title（参考訳）: PushPull-Net: インスティクション駆動のResNetは画像の破損に対して堅牢
• Authors: Guru Swaroop Bennabhaktula, Enrique Alegre, Nicola Strisciuglio, George Azzopardi,
• Abstract要約: 本稿では,ResNetアーキテクチャの第1層にPushPull-Convと呼ばれる新しい計算ユニットを導入する。 このユニットは、補完フィルタのペアを実装することによって、従来の畳み込み層を再定義する。 PushPull-ConvをResNetsに組み込むことで、イメージの破損に対するロバスト性が大幅に向上した。
• 参考スコア（独自算出の注目度）: 11.424576927168385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a novel computational unit, termed PushPull-Conv, in the first layer of a ResNet architecture, inspired by the anti-phase inhibition phenomenon observed in the primary visual cortex. This unit redefines the traditional convolutional layer by implementing a pair of complementary filters: a trainable push kernel and its counterpart, the pull kernel. The push kernel (analogous to traditional convolution) learns to respond to specific stimuli, while the pull kernel reacts to the same stimuli but of opposite contrast. This configuration enhances stimulus selectivity and effectively inhibits response in regions lacking preferred stimuli. This effect is attributed to the push and pull kernels, which produce responses of comparable magnitude in such regions, thereby neutralizing each other. The incorporation of the PushPull-Conv into ResNets significantly increases their robustness to image corruption. Our experiments with benchmark corruption datasets show that the PushPull-Conv can be combined with other data augmentation techniques to further improve model robustness. We set a new robustness benchmark on ResNet50 achieving an $mCE$ of 49.95$\%$ on ImageNet-C when combining PRIME augmentation with PushPull inhibition.
• Abstract（参考訳）: 本稿では,ResNetアーキテクチャの第1層にPushPull-Convと呼ばれる新しい計算ユニットを導入する。 このユニットは、トレーニング可能なプッシュカーネルとそれに対応するプルカーネルという2つの補完的なフィルタを実装することで、従来の畳み込み層を再定義する。 プッシュカーネル(従来の畳み込みと類似)は特定の刺激に反応することを学び、プルカーネルは同じ刺激に反応するが、反対のコントラストに反応する。 この構成は刺激選択性を高め、好ましくない領域での応答を効果的に抑制する。 この効果はプッシュとプルのカーネルによるもので、これらの領域で同等の大きさの応答を生成し、それによって互いに中和する。 PushPull-ConvをResNetsに組み込むことで、イメージの破損に対するロバスト性が大幅に向上した。 我々は,PushPull-Convを他のデータ拡張手法と組み合わせることで,モデルロバスト性をさらに向上できることを示す。 我々は、PRIME拡張とPushPull阻害を組み合わせる際に、ImageNet-Cで$mCE$ 49.95$\%$を達成したResNet50に新しい堅牢性ベンチマークを設定した。

関連論文リスト

• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
  畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。 ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。 私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
  論文  参考訳（メタデータ） (2023-02-09T10:17:17Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Neural Network Compression by Joint Sparsity Promotion and Redundancy Reduction [4.9613162734482215]
  本稿では,冗長なフィルタを創出し,空間性向上によるネットワーク学習に対する効果を最小化する,複合制約に基づく新しい学習手法を提案する。 いくつかのピクセルワイドセグメンテーションベンチマークによるテストでは、テストフェーズにおけるネットワークのニューロン数とメモリフットプリントが、性能に影響を与えずに大幅に減少することが示された。
  論文  参考訳（メタデータ） (2022-10-14T01:34:49Z)
• Accurate Image Restoration with Attention Retractable Transformer [50.05204240159985]
  画像復元のためのアテンション・リトラクタブル・トランス (ART) を提案する。 ARTはネットワーク内の密集モジュールと疎開モジュールの両方を提示する。 画像超解像、デノナイジング、JPEG圧縮アーティファクト削減タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-10-04T07:35:01Z)
• Learning Robust Kernel Ensembles with Kernel Average Pooling [3.6540368812166872]
  本稿では,階層活性化テンソルのカーネル次元に沿って平均フィルタを適用するニューラルネットワーク構築ブロックであるKernel Average Pooling(KAP)を紹介する。 類似機能を持つカーネルのアンサンブルは、KAPを装備した畳み込みニューラルネットワークにおいて自然に出現し、バックプロパゲーションで訓練されることを示す。
  論文  参考訳（メタデータ） (2022-09-30T19:49:14Z)
• Deeper Insights into ViTs Robustness towards Common Corruptions [82.79764218627558]
  我々は、CNNのようなアーキテクチャ設計とCNNベースのデータ拡張戦略が、一般的な汚職に対するViTsの堅牢性にどのように影響するかを検討する。 重なり合うパッチ埋め込みと畳み込みフィードフォワードネットワーク(FFN)がロバスト性の向上を実証する。 また、2つの角度から入力値の増大を可能にする新しい条件付き手法も導入する。
  論文  参考訳（メタデータ） (2022-04-26T08:22:34Z)
• Predify: Augmenting deep neural networks with brain-inspired predictive coding dynamics [0.5284812806199193]
  我々は神経科学の一般的な枠組みからインスピレーションを得た:「予測コーディング」 本稿では、この戦略をVGG16とEfficientNetB0という2つの人気ネットワークに実装することで、様々な汚職に対する堅牢性を向上させることを示す。
  論文  参考訳（メタデータ） (2021-06-04T22:48:13Z)
• Combating Adversaries with Anti-Adversaries [118.70141983415445]
  特に、我々の層は、逆の層とは反対の方向に入力摂動を生成します。 我々は,我々の階層と名目および頑健に訓練されたモデルを組み合わせることで,我々のアプローチの有効性を検証する。 我々の対向層は、クリーンな精度でコストを伴わずにモデルロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2021-03-26T09:36:59Z)
• Watch out! Motion is Blurring the Vision of Your Deep Neural Networks [34.51270823371404]
  最先端のディープニューラルネットワーク(DNN)は、付加的なランダムなノイズ摂動を伴う敵の例に対して脆弱である。 そこで本研究では,視覚的に自然な動きを呈する対向攻撃の例を生成できる新しい対向攻撃法を提案する。 NeurIPS'17競合競合データセットに関する総合的な評価は、ABBAの有効性を示している。
  論文  参考訳（メタデータ） (2020-02-10T02:33:08Z)
• A simple way to make neural networks robust against diverse image corruptions [29.225922892332342]
  加法ガウスノイズとスペククルノイズを用いた簡易だが適切に調整されたトレーニングが、予期せぬ汚職に対して驚くほどうまく一般化することを示す。 非相関な最悪の雑音に対する認識モデルの逆トレーニングは、さらなる性能向上につながる。
  論文  参考訳（メタデータ） (2020-01-16T20:10:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。