論文の概要: Adversarial Robustness through the Lens of Convolutional Filters

• arxiv url: http://arxiv.org/abs/2204.02481v1
• Date: Tue, 5 Apr 2022 20:29:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-07 12:38:17.253403
• Title: Adversarial Robustness through the Lens of Convolutional Filters
• Title（参考訳）: 畳み込みフィルタのレンズによる対向ロバスト性
• Authors: Paul Gavrikov and Janis Keuper
• Abstract要約: 逆学習モデルで形成される3x3畳み込みフィルタについて検討する。 フィルタは、linf-RobustBench CIFAR-10/100とImageNet1kのリーダーボードの71のパブリックモデルから抽出される。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models are intrinsically sensitive to distribution shifts in the input data. In particular, small, barely perceivable perturbations to the input data can force models to make wrong predictions with high confidence. An common defense mechanism is regularization through adversarial training which injects worst-case perturbations back into training to strengthen the decision boundaries, and to reduce overfitting. In this context, we perform an investigation of 3x3 convolution filters that form in adversarially-trained models. Filters are extracted from 71 public models of the linf-RobustBench CIFAR-10/100 and ImageNet1k leaderboard and compared to filters extracted from models built on the same architectures but trained without robust regularization. We observe that adversarially-robust models appear to form more diverse, less sparse, and more orthogonal convolution filters than their normal counterparts. The largest differences between robust and normal models are found in the deepest layers, and the very first convolution layer, which consistently and predominantly forms filters that can partially eliminate perturbations, irrespective of the architecture. Data & Project website: https://github.com/paulgavrikov/cvpr22w_RobustnessThroughTheLens
• Abstract（参考訳）: ディープラーニングモデルは、入力データの分散シフトに本質的に敏感である。 特に、入力データに対する小さな、ほとんど知覚できない摂動は、モデルに高い信頼性で誤った予測を強いる可能性がある。 一般的な防御機構は、最悪の場合の摂動をトレーニングに注入し、決定境界を強化し、過剰フィッティングを減らす敵訓練による正規化である。 そこで,本研究では,逆訓練モデルで生成する3x3畳み込みフィルタについて検討する。 フィルタは、Linf-RobustBench CIFAR-10/100とImageNet1kのリーダーボードの71のパブリックモデルから抽出され、同じアーキテクチャ上に構築されたモデルから抽出されたフィルタと比較される。 我々は、逆回転するモデルが通常のモデルよりも多様で、スパースが少なく、直交の畳み込みフィルタを形成するのを観察する。 ロバストモデルと正規モデルの間の最大の違いは最深層層と、アーキテクチャに関係なく部分的に摂動を除去できるフィルターを一貫して主に形成する第1畳み込み層である。 Data & Project website: https://github.com/paulgavrikov/cvpr22w_RobustnessThroughTheLens

関連論文リスト

• Uncertainty Representations in State-Space Layers for Deep Reinforcement Learning under Partial Observability [59.758009422067]
  線形状態空間モデルにおいて閉形式ガウス推論を行う独立なカルマンフィルタ層を提案する。 効率的な線形リカレント層と同様に、Kalmanフィルタ層は並列スキャンを使用してシーケンシャルデータを処理している。 実験により、不確実性推論が意思決定の鍵となる問題においてカルマンフィルタ層が優れており、他のステートフルモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-25T11:22:29Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Combining Slow and Fast: Complementary Filtering for Dynamics Learning [9.11991227308599]
  本研究では,動的モデル学習に対する学習に基づくモデル学習手法を提案する。 また,さらに物理ベースのシミュレータを必要とするハイブリッドモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-27T13:32:47Z)
• The Power of Linear Combinations: Learning with Random Convolutions [2.0305676256390934]
  現代のCNNは、ランダムな(空間的な)畳み込みフィルタを更新することなく、高いテスト精度を達成することができる。 これらのランダムフィルタの組み合わせは、結果の操作を暗黙的に正規化することができる。 私たちは3ドル3セントの畳み込みを学習することで比較的小さな利益しか得られないが、学習率はカーネルサイズに比例して増加する。
  論文  参考訳（メタデータ） (2023-01-26T19:17:10Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• Shaken, and Stirred: Long-Range Dependencies Enable Robust Outlier Detection with PixelCNN++ [6.736754991468853]
  PixelCNN++のバイアスは、主にローカル依存に基づく予測から生じる。 低レベルのバイアスを緩和し、長距離依存関係の寄与を分離する。 5つのグレースケールと6つの自然画像データセットを用いて、我々のアプローチを広範囲にテストし、それらが最先端の異常検出を達成または超えることを示す。
  論文  参考訳（メタデータ） (2022-08-29T13:17:22Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• CNN Filter DB: An Empirical Investigation of Trained Convolutional Filters [2.0305676256390934]
  モデル事前学習は、サイズと分散条件を満たす場合、任意のデータセットで成功することを示す。 事前学習された多くのモデルには、劣化したフィルタが含まれており、それによって、より堅牢で、ターゲットアプリケーションの微調整に適さないことが示される。
  論文  参考訳（メタデータ） (2022-03-29T08:25:42Z)
• Affine-Invariant Robust Training [0.0]
  本研究は,空間的ロバスト性に関する研究をレビューし,入力毎に最悪のアフィン変換を求めるため,ゼロ階最適化アルゴリズムを提案する。 提案手法は,頑健なモデルを効果的に生成し,非パラメトリック逆摂動の導入を可能にする。
  論文  参考訳（メタデータ） (2020-10-08T18:59:19Z)
• Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters [64.46270549587004]
  畳み込みニューラルネットワーク(CNN)は、様々なタスクでうまく使われている。 CNNは、しばしば「ブラックボックス」と解釈可能性の欠如とみなされる。 本稿では,クラス固有のフィルタを奨励することで,解釈可能なCNNを訓練する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-16T09:12:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。