論文の概要: Revealing the Dark Secrets of Extremely Large Kernel ConvNets on Robustness

• arxiv url: http://arxiv.org/abs/2407.08972v1
• Date: Fri, 12 Jul 2024 03:55:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 00:46:38.939261
• Title: Revealing the Dark Secrets of Extremely Large Kernel ConvNets on Robustness
• Title（参考訳）: 極大カーネルネットワークの暗黒秘密をロバスト性に発見する
• Authors: Honghao Chen, Yurong Zhang, Xiaokun Feng, Xiangxiang Chu, Kaiqi Huang,
• Abstract要約: 近年、一部の大規模なカーネル・コンブネットは、性能と効率性で復活している。 大規模なカーネルネットワークがロバストなのか、そのロバスト性に起因するのかはまだ不明である。
• 参考スコア（独自算出の注目度）: 31.30675199826784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness is a vital aspect to consider when deploying deep learning models into the wild. Numerous studies have been dedicated to the study of the robustness of vision transformers (ViTs), which have dominated as the mainstream backbone choice for vision tasks since the dawn of 2020s. Recently, some large kernel convnets make a comeback with impressive performance and efficiency. However, it still remains unclear whether large kernel networks are robust and the attribution of their robustness. In this paper, we first conduct a comprehensive evaluation of large kernel convnets' robustness and their differences from typical small kernel counterparts and ViTs on six diverse robustness benchmark datasets. Then to analyze the underlying factors behind their strong robustness, we design experiments from both quantitative and qualitative perspectives to reveal large kernel convnets' intriguing properties that are completely different from typical convnets. Our experiments demonstrate for the first time that pure CNNs can achieve exceptional robustness comparable or even superior to that of ViTs. Our analysis on occlusion invariance, kernel attention patterns and frequency characteristics provide novel insights into the source of robustness.
• Abstract（参考訳）: ロバスト性は、ディープラーニングモデルを野生に展開する上で、考慮すべき重要な側面である。 ビジョントランスフォーマー(ViT)の堅牢性の研究に多くの研究が注がれており、2020年代以降、視覚タスクの主要なバックボーン選択として支配されてきた。 近年、一部の大規模なカーネル・コンブネットは、性能と効率性で復活している。 しかし、大規模なカーネルネットワークが堅牢なのか、その堅牢性に起因するのかはまだ不明である。 本稿では,6つの多種多様なロバスト性ベンチマークデータセット上で,大カーネルのロバスト性と,典型的な小カーネルのロバスト性とViTとの相違点を総合的に評価する。 そして、その強靭性の背後にある要因を分析するために、定量的および質的な視点から実験を設計し、典型的な共振器とは全く異なる大きなカーネル共振器の興味深い特性を明らかにする。 我々の実験は、純粋なCNNが、ViTに匹敵する、あるいはそれよりも優れた、非常に堅牢性を達成できることを初めて実証した。 本研究は,オクルージョンの不変性,カーネルの注意パターン,周波数特性について解析し,ロバスト性の原因に関する新たな知見を提供する。

関連論文リスト

• Understanding Robustness of Visual State Space Models for Image Classification [19.629800707546543]
  Visual State Space Model (VMamba) は有望なアーキテクチャとして登場し、様々なコンピュータビジョンタスクにおいて顕著なパフォーマンスを示している。 対人攻撃に対する頑健性について検討し,全画像とパッチ固有の対人攻撃を併用した。 ホワイトボックス攻撃時のVMambaの勾配とバックプロパゲーションを調査し、ユニークな脆弱性と防御機能を明らかにする。
  論文  参考訳（メタデータ） (2024-03-16T14:23:17Z)
• Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
  我々は、失われたヘッセンのレンズを通して風景を研究する。 我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。 ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
  論文  参考訳（メタデータ） (2024-02-27T12:28:01Z)
• UniRepLKNet: A Universal Perception Large-Kernel ConvNet for Audio, Video, Point Cloud, Time-Series and Image Recognition [61.01408259741114]
  大規模なカーネルベースの畳み込みニューラルネットワーク(ConvNets)を設計するための4つのアーキテクチャガイドラインを提案する。 提案する大規模カーネルベースのConvNetは,画像認識における主要な性能を示す。 大規模なカーネルが、もともと熟練していないドメインにおいて、ConvNetの例外的なパフォーマンスを解放する鍵であることを発見した。
  論文  参考訳（メタデータ） (2023-11-27T07:48:50Z)
• Robust Graph Neural Networks via Unbiased Aggregation [18.681451049083407]
  グラフニューラルネットワーク(GNN)の敵対的堅牢性は、強い適応攻撃によって発見されたセキュリティの誤った感覚のために疑問視されている。 私たちは、その堅牢性と限界を理解するために、統一されたロバストな見積もりポイントを提供する。
  論文  参考訳（メタデータ） (2023-11-25T05:34:36Z)
• What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
  ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。 NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
  論文  参考訳（メタデータ） (2022-10-11T16:11:48Z)
• Understanding Adversarial Robustness of Vision Transformers via Cauchy Problem [15.033609196411517]
  視覚変換器(ViT)は、いくつかの摂動の下で畳み込みニューラルネットワーク(CNN)を超える。 本稿では,ViTのロバスト性を調べるための原理的・統一的な理論枠組みを提案する。
  論文  参考訳（メタデータ） (2022-08-01T14:50:29Z)
• Deeper Insights into ViTs Robustness towards Common Corruptions [82.79764218627558]
  我々は、CNNのようなアーキテクチャ設計とCNNベースのデータ拡張戦略が、一般的な汚職に対するViTsの堅牢性にどのように影響するかを検討する。 重なり合うパッチ埋め込みと畳み込みフィードフォワードネットワーク(FFN)がロバスト性の向上を実証する。 また、2つの角度から入力値の増大を可能にする新しい条件付き手法も導入する。
  論文  参考訳（メタデータ） (2022-04-26T08:22:34Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
  ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。 我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。 分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
  論文  参考訳（メタデータ） (2020-10-19T17:06:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。