論文の概要: Characterizing Model Robustness via Natural Input Gradients

• arxiv url: http://arxiv.org/abs/2409.20139v1
• Date: Mon, 30 Sep 2024 09:41:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 13:17:59.018347
• Title: Characterizing Model Robustness via Natural Input Gradients
• Title（参考訳）: 自然入力勾配によるモデルロバストネスのキャラクタリゼーション
• Authors: Adrián Rodríguez-Muñoz, Tongzhou Wang, Antonio Torralba,
• Abstract要約: 自然例のみのモデル入力に対して勾配を正則化するという驚くべき効果を示す。 ImageNet-1kでは、グラディエントノルムトレーニングは最先端のPGD-3(52%対56%)の性能を90%以上達成し、複雑な敵の最適化なしに最先端の60%のコストしか使用していない。
• 参考スコア（独自算出の注目度）: 37.97521090347974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarially robust models are locally smooth around each data sample so that small perturbations cannot drastically change model outputs. In modern systems, such smoothness is usually obtained via Adversarial Training, which explicitly enforces models to perform well on perturbed examples. In this work, we show the surprising effectiveness of instead regularizing the gradient with respect to model inputs on natural examples only. Penalizing input Gradient Norm is commonly believed to be a much inferior approach. Our analyses identify that the performance of Gradient Norm regularization critically depends on the smoothness of activation functions, and are in fact extremely effective on modern vision transformers that adopt smooth activations over piecewise linear ones (eg, ReLU), contrary to prior belief. On ImageNet-1k, Gradient Norm training achieves > 90% the performance of state-of-the-art PGD-3 Adversarial Training} (52% vs.~56%), while using only 60% computation cost of the state-of-the-art without complex adversarial optimization. Our analyses also highlight the relationship between model robustness and properties of natural input gradients, such as asymmetric sample and channel statistics. Surprisingly, we find model robustness can be significantly improved by simply regularizing its gradients to concentrate on image edges without explicit conditioning on the gradient norm.
• Abstract（参考訳）: 逆向きの頑健なモデルは各データサンプルの周りで局所的に滑らかであるため、小さな摂動はモデル出力を劇的に変えることができない。 現代のシステムでは、このような滑らかさは通常、摂動訓練によって得られる。 本研究では,自然例のみのモデル入力に対して勾配を正則化するという驚くべき効果を示す。 グラディエントノルムの刑罰は、一般的にはるかに劣るアプローチであると考えられている。 解析により, グラディエントノルム正規化の性能は活性化関数の滑らかさに大きく依存しており, 従来の信念とは対照的に, 分割線形化(ReLU)よりもスムーズな活性化を取り入れた現代の視覚変換器に極めて効果的であることが確認された。 ImageNet-1kにおいて、グラディエントノルムトレーニングは、最先端のPGD-3 Adversarial Training} (52% vs.~56%)のパフォーマンスの90%を達成し、複雑な対角最適化を伴わない最先端の計算コストは60%に過ぎなかった。 また,非対称サンプルやチャネル統計などの自然入力勾配のモデルロバスト性と特性の関係についても検討した。 驚くべきことに、勾配ノルムを明示的に条件付けすることなく、画像エッジに集中するように勾配を規則化することで、モデルロバスト性を大幅に改善できる。

関連論文リスト

• Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density [93.32594873253534]
  信頼できる機械学習は、非ロバストな特徴に依存するモデルの厳密な規制を必要とする。 本稿では,モデル予測を入力に関連付けることによって,そのような特徴を記述・規制するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T09:16:56Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Understanding the robustness difference between stochastic gradient descent and adaptive gradient methods [11.895321856533934]
  勾配降下法(SGD)と適応勾配法はディープニューラルネットワークの訓練に広く用いられている。 これらの手法を用いて訓練したモデルの標準一般化性能の差は小さいが、SGDを用いて訓練したモデルは入力摂動下でははるかに頑健であることを示す。
  論文  参考訳（メタデータ） (2023-08-13T07:03:22Z)
• Selectively Hard Negative Mining for Alleviating Gradient Vanishing in Image-Text Matching [15.565068934153983]
  既存の画像テキストマッチング(ITM)モデルのほとんどは、トレーニング開始時に消失する勾配に悩まされている。 本稿では, 選択的に負のサンプルをマイニングするかを選択するSelHN(SelHN)戦略を提案する。 SelHNは既存のIMMモデルにプラグイン・アンド・プレイすることで、より良いトレーニング動作を提供できる。
  論文  参考訳（メタデータ） (2023-03-01T02:15:07Z)
• Relating Regularization and Generalization through the Intrinsic Dimension of Activations [11.00580615194563]
  画像分類モデルにおける検証セットアクティベーションの最終層ID(LLID)を,共通正規化手法により均一に低減することを示す。 また、グルーキングを示すモデルのトレーニングの過程でLLIDについても検討する。
  論文  参考訳（メタデータ） (2022-11-23T19:00:00Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• Differentiable Agent-Based Simulation for Gradient-Guided Simulation-Based Optimization [0.0]
  勾配推定法は局所最適化に向けて最適化を行うのに利用できる。 高入力次元の信号タイミング最適化問題では、勾配に基づく手法の方がかなり優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-23T11:58:21Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。