論文の概要: Which Models have Perceptually-Aligned Gradients? An Explanation via
Off-Manifold Robustness
- arxiv url: http://arxiv.org/abs/2305.19101v2
- Date: Mon, 11 Mar 2024 12:48:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 17:19:51.353577
- Title: Which Models have Perceptually-Aligned Gradients? An Explanation via
Off-Manifold Robustness
- Title(参考訳): どのモデルが知覚に相応しい勾配を持つか?
off-manifold robustness による説明
- Authors: Suraj Srinivas, Sebastian Bordt, Hima Lakkaraju
- Abstract要約: 知覚的に整列した勾配(PAG)は、堅牢なコンピュータビジョンモデルに初歩的な生成能力をもたらす。
このことは、モデルがオンマンフォールドであるよりも、データ多様体よりもロバストでなければならないことを述べています。
我々は、知覚的アライメントとモデル精度の両方に影響を与える3つの異なるロバスト性(弱ロバスト性、ベイズ整合ロバスト性、過剰ロバスト性)を識別する。
- 参考スコア(独自算出の注目度): 9.867914513513453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the remarkable properties of robust computer vision models is that
their input-gradients are often aligned with human perception, referred to in
the literature as perceptually-aligned gradients (PAGs). Despite only being
trained for classification, PAGs cause robust models to have rudimentary
generative capabilities, including image generation, denoising, and
in-painting. However, the underlying mechanisms behind these phenomena remain
unknown. In this work, we provide a first explanation of PAGs via
\emph{off-manifold robustness}, which states that models must be more robust
off- the data manifold than they are on-manifold. We first demonstrate
theoretically that off-manifold robustness leads input gradients to lie
approximately on the data manifold, explaining their perceptual alignment. We
then show that Bayes optimal models satisfy off-manifold robustness, and
confirm the same empirically for robust models trained via gradient norm
regularization, randomized smoothing, and adversarial training with projected
gradient descent. Quantifying the perceptual alignment of model gradients via
their similarity with the gradients of generative models, we show that
off-manifold robustness correlates well with perceptual alignment. Finally,
based on the levels of on- and off-manifold robustness, we identify three
different regimes of robustness that affect both perceptual alignment and model
accuracy: weak robustness, bayes-aligned robustness, and excessive robustness.
Code is available at \url{https://github.com/tml-tuebingen/pags}.
- Abstract(参考訳): 堅牢なコンピュータビジョンモデルの顕著な特性の1つは、その入力勾配が人間の知覚と整合していることであり、文献では知覚整合勾配(PAG)と呼ばれている。
分類のためにのみ訓練されているにもかかわらず、PAGは堅牢なモデルに画像生成、装飾、塗装を含む初歩的な生成能力をもたらす。
しかし、これらの現象の背後にあるメカニズムは不明である。
本研究では,モデルがデータ多様体よりもより頑健でなければならないことを述べる,\emph{off-manifold robustness} によるpagsの最初の説明を提供する。
まず,オフ多様体のロバスト性が入力勾配をおよそデータ多様体上に置くことを示し,その知覚的アライメントを説明する。
次に,ベイズ最適モデルはオフ・マニフォールド・ロバスト性を満たすことを示し,勾配ノルム正則化,ランダム化平滑化,投影勾配降下を伴う逆行訓練によって訓練されたロバストモデルについて,経験的にも同じことを確認する。
モデル勾配の知覚的アライメントの定量化と生成モデルの勾配との類似性から,オフマニフォールドのロバスト性は知覚的アライメントとよく相関することを示す。
最後に,onおよびoff-manifoldのロバスト性レベルに基づいて,知覚的アライメントとモデルの正確性の両方に影響を与える3つの異なるロバスト性(弱ロバスト性,ベイズアライメントロバスト性,過度のロバスト性)を同定する。
コードは \url{https://github.com/tml-tuebingen/pags} で入手できる。
関連論文リスト
- Towards a robust and reliable deep learning approach for detection of
compact binary mergers in gravitational wave data [0.0]
我々は、段階的に深層学習モデルを開発し、その堅牢性と信頼性の向上に取り組みます。
我々はGAN(Generative Adversarial Network)を含む新しいフレームワークでモデルを再訓練する。
絶対ロバスト性は事実上達成できないが、そのような訓練によって得られるいくつかの根本的な改善を実証する。
論文 参考訳(メタデータ) (2023-06-20T18:00:05Z) - Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。
この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
論文 参考訳(メタデータ) (2023-04-25T07:42:06Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳(メタデータ) (2023-04-07T15:17:48Z) - Curvature-Balanced Feature Manifold Learning for Long-Tailed
Classification [52.021899899683675]
尾のクラスは必ずしも学習が難しいわけではなく、サンプルバランスのデータセットでモデルバイアスが観測されていることを示す。
本稿では, 曲率バランスと平らな知覚多様体の学習を容易にするため, 曲率正規化を提案する。
我々の研究は、モデルバイアスに関する幾何学的分析の視点を開き、非長い尾とサンプルバランスのデータセットのモデルバイアスに注意を払うよう研究者に促す。
論文 参考訳(メタデータ) (2023-03-22T04:49:23Z) - Do Perceptually Aligned Gradients Imply Adversarial Robustness? [17.929524924008962]
逆ロバストな分類器は、非ロバストモデルが持たない特性を持っている -- 知覚配向勾配(PAG)
いくつかの研究は、PAGを堅牢なトレーニングの副産物とみなしているが、独立的な現象と見なしたり、独自の意味を研究したりはしていない。
より優れた勾配アライメントがロバスト性を高めることを示し、既存の対向訓練技術のロバスト性を高めるためにこの観測を利用する。
論文 参考訳(メタデータ) (2022-07-22T23:48:26Z) - Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
強靭性と精度のトレードオフは、敵文学において広く研究されている。
局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。
定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
論文 参考訳(メタデータ) (2022-02-21T10:36:09Z) - Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。
変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
論文 参考訳(メタデータ) (2022-01-28T22:03:50Z) - Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。
提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
論文 参考訳(メタデータ) (2021-11-25T05:51:03Z) - Adversarial robustness for latent models: Revisiting the robust-standard
accuracies tradeoff [12.386462516398472]
標準的なテストの精度を落とすために、しばしば逆行訓練が観察される。
本稿では、このトレードオフは、データが低次元構造を楽しむ場合に緩和されると論じる。
周囲次元に対する多様体次元が減少するにつれて、標準精度とロバスト精度の両方に関してほぼ最適に近いモデルが得られることを示す。
論文 参考訳(メタデータ) (2021-10-22T17:58:27Z) - Uncertainty in Gradient Boosting via Ensembles [37.808845398471874]
勾配促進モデルのアンサンブルは、予測された総不確実性を改善する能力に制限があるにもかかわらず、異常な入力を検出することに成功した。
本稿では,1つの勾配押し上げモデルのみでアンサンブルの利点を得るための仮想アンサンブルの概念を提案する。
論文 参考訳(メタデータ) (2020-06-18T14:11:27Z) - On the Benefits of Models with Perceptually-Aligned Gradients [8.427953227125148]
敵攻撃に対する強靭性を示さないモデルにおいても,解釈的かつ知覚的に整合した勾配が存在することを示す。
解釈可能な知覚整合性を持つモデルを活用し、最大摂動境界の低い対角トレーニングがゼロショットおよび弱教師付きローカライゼーションタスクのモデルの性能を向上させることを示す。
論文 参考訳(メタデータ) (2020-05-04T14:05:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。