論文の概要: An Extended Study of Human-like Behavior under Adversarial Training

• arxiv url: http://arxiv.org/abs/2303.12669v1
• Date: Wed, 22 Mar 2023 15:47:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 13:37:20.931146
• Title: An Extended Study of Human-like Behavior under Adversarial Training
• Title（参考訳）: 対人訓練における人間的行動に関する拡張研究
• Authors: Paul Gavrikov, Janis Keuper, Margret Keuper
• Abstract要約: ニューラルネットワークの形状バイアスへのシフトは, 対角訓練によって増加することを示す。 また、周波数の観点からこの現象を説明できる。
• 参考スコア（独自算出の注目度）: 11.72025865314187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks have a number of shortcomings. Amongst the severest ones is the sensitivity to distribution shifts which allows models to be easily fooled into wrong predictions by small perturbations to inputs that are often imperceivable to humans and do not have to carry semantic meaning. Adversarial training poses a partial solution to address this issue by training models on worst-case perturbations. Yet, recent work has also pointed out that the reasoning in neural networks is different from humans. Humans identify objects by shape, while neural nets mainly employ texture cues. Exemplarily, a model trained on photographs will likely fail to generalize to datasets containing sketches. Interestingly, it was also shown that adversarial training seems to favorably increase the shift toward shape bias. In this work, we revisit this observation and provide an extensive analysis of this effect on various architectures, the common $\ell_2$- and $\ell_\infty$-training, and Transformer-based models. Further, we provide a possible explanation for this phenomenon from a frequency perspective.
• Abstract（参考訳）: ニューラルネットワークには多くの欠点がある。 最も深刻なことの1つは、分布シフトに対する感受性であり、それはモデルが人間には理解できない、意味的な意味を持たない入力に対する小さな摂動によって間違った予測に簡単に騙されることを可能にする。 敵の訓練は、最悪の場合の摂動についてのモデルを訓練することで、この問題に対処する部分的な解決策となる。 しかし、最近の研究は、ニューラルネットワークの推論が人間と異なることも指摘している。 人間は形によって物体を識別し、ニューラルネットは主にテクスチャキューを使用する。 例えば、写真で訓練されたモデルは、スケッチを含むデータセットに一般化できない可能性が高い。 また, 対人訓練は, 形状バイアスへのシフトを好意的に増加させることが示された。 本研究では,この観測結果を再検討し,様々なアーキテクチャ,一般的な $\ell_2$- および $\ell_\infty$-training および Transformer ベースのモデルに対して,この効果を広範囲に解析する。 さらに、周波数の観点から、この現象の可能な説明を提供する。

関連論文リスト

• Can Biases in ImageNet Models Explain Generalization? [13.802802975822704]
  一般化は、現在のディープラーニング手法における大きな課題の1つです。 画像分類において、これは敵対的攻撃の存在、歪んだ画像のパフォーマンス低下、スケッチのような概念への一般化の欠如に現れている。 我々は,48のイメージネットモデルに対して,これらのバイアスが一般化とどのように相互作用するかを理解するために,異なるトレーニング手法を用いて得られた大規模な研究を行う。
  論文  参考訳（メタデータ） (2024-04-01T22:25:48Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• MENTOR: Human Perception-Guided Pretraining for Increased Generalization [5.596752018167751]
  MENTOR (huMan pErceptioN-guided preTraining fOr increased geneRalization) を紹介する。 我々は、クラスラベルを使わずに、入力された画像からヒトの唾液マップを学習するためにオートエンコーダを訓練する。 我々は、デコーダ部分を取り除き、エンコーダの上に分類層を追加し、従来の新しいモデルを微調整する。
  論文  参考訳（メタデータ） (2023-10-30T13:50:44Z)
• Connecting metrics for shape-texture knowledge in computer vision [1.7785095623975342]
  深層ニューラルネットワークは、人間が画像の分類ミスを起こさないような、画像の多くの変化の影響を受けやすいままである。 この異なる振る舞いの一部は、視覚タスクで人間とディープニューラルネットワークが使用する機能の種類によって説明できるかもしれない。
  論文  参考訳（メタデータ） (2023-01-25T14:37:42Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• Predictive coding feedback results in perceived illusory contours in a recurrent neural network [0.0]
  脳にインスパイアされたリカレントダイナミクスを備えたディープフィードフォワード畳み込みネットワークを備える。 照明輪郭の知覚にはフィードバック接続が関与する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-02-03T09:07:09Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Stereopagnosia: Fooling Stereo Networks with Adversarial Perturbations [71.00754846434744]
  知覚不能な加法的摂動は,差分マップを著しく変更できることを示す。 敵データ拡張に使用すると、我々の摂動はより堅牢なトレーニングされたモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-09-21T19:20:09Z)
• Encoding Robustness to Image Style via Adversarial Feature Perturbations [72.81911076841408]
  我々は、画像画素ではなく特徴統計を直接摂動することで、頑健なモデルを生成することで、敵の訓練に適応する。 提案手法であるAdvBN(Adversarial Batch Normalization)は,トレーニング中に最悪の機能摂動を発生させる単一ネットワーク層である。
  論文  参考訳（メタデータ） (2020-09-18T17:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。