論文の概要: Adversarial flows: A gradient flow characterization of adversarial attacks
- arxiv url: http://arxiv.org/abs/2406.05376v2
- Date: Tue, 11 Jun 2024 08:20:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 10:17:16.266356
- Title: Adversarial flows: A gradient flow characterization of adversarial attacks
- Title（参考訳）: 逆流: 逆流の勾配流のキャラクタリゼーション
- Authors: Lukas Weigand, Tim Roith, Martin Burger,
- Abstract要約: ニューラルネットワークに対する敵攻撃を行う一般的な方法は、いわゆる高速勾配符号法である。
我々は、離散化と関連する勾配流の収束性を示す。
- 参考スコア（独自算出の注目度）: 1.8749305679160366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A popular method to perform adversarial attacks on neuronal networks is the so-called fast gradient sign method and its iterative variant. In this paper, we interpret this method as an explicit Euler discretization of a differential inclusion, where we also show convergence of the discretization to the associated gradient flow. To do so, we consider the concept of p-curves of maximal slope in the case $p=\infty$. We prove existence of $\infty$-curves of maximum slope and derive an alternative characterization via differential inclusions. Furthermore, we also consider Wasserstein gradient flows for potential energies, where we show that curves in the Wasserstein space can be characterized by a representing measure on the space of curves in the underlying Banach space, which fulfill the differential inclusion. The application of our theory to the finite-dimensional setting is twofold: On the one hand, we show that a whole class of normalized gradient descent methods (in particular signed gradient descent) converge, up to subsequences, to the flow, when sending the step size to zero. On the other hand, in the distributional setting, we show that the inner optimization task of adversarial training objective can be characterized via $\infty$-curves of maximum slope on an appropriate optimal transport space.
- Abstract（参考訳）: 神経ネットワークに対する敵対的攻撃を行う一般的な方法は、いわゆる高速勾配標識法とその反復的変種である。
本稿では,この手法を微分包摂の明示的なオイラー離散化と解釈し,それに伴う勾配流への離散化の収束を示す。
そのため、極大斜面の p-曲線の概念を、$p=\infty$ の場合に考える。
最大勾配の$\infty$-曲線の存在を証明し、微分包含によって別の特徴を導出する。
さらに、ポテンシャルエネルギーに対するワッサーシュタイン勾配流も考慮し、ワッサーシュタイン空間の曲線は、微分包含を満たすバナッハ空間の曲線の空間の表現測度によって特徴づけられることを示す。
有限次元の設定への我々の理論の適用は2つある: 一方、ステップサイズを0にしたとき、正規化勾配降下法(特に符号付き勾配降下法)のクラス全体が流れに収束することを示す。
一方, 分布設定では, 最適輸送空間上の最大勾配の$\infty$-curves を用いて, 対向訓練対象の内的最適化タスクを特徴付けることができることを示す。
関連論文リスト
- Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent [0.3831327965422187]
本稿では,勾配降下(SGD)における適応ステップサイズに対する新しいアプローチを提案する。
我々は、勾配に対するリプシッツ定数と探索方向の局所的分散の概念という、数値的にトレース可能な量を用いる。
論文 参考訳（メタデータ） (2023-11-28T17:03:56Z) - Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳（メタデータ） (2023-10-31T16:15:13Z) - Bridging the Gap Between Variational Inference and Wasserstein Gradient
Flows [6.452626686361619]
我々は変分推論とワッサーシュタイン勾配流のギャップを埋める。
ある条件下では、ビュール=ヴァッサーシュタイン勾配流はユークリッド勾配流として再キャストすることができる。
また,Wasserstein勾配流に対する蒸留法としてフレーミングすることで,経路微分勾配の別の視点も提供する。
論文 参考訳（メタデータ） (2023-10-31T00:10:19Z) - Particle-based Variational Inference with Generalized Wasserstein
Gradient Flow [32.37056212527921]
本稿では一般化ワッサーシュタイン勾配勾配(GWG)と呼ばれるParVIフレームワークを提案する。
GWGが強い収束保証を示すことを示す。
また、収束を加速するためにワッサーシュタイン計量を自動的に選択する適応版も提供する。
論文 参考訳（メタデータ） (2023-10-25T10:05:42Z) - Sampling via Gradient Flows in the Space of Probability Measures [10.892894776497165]
近年の研究では,確率測度空間における勾配流を考慮したアルゴリズムが,アルゴリズム開発のための新たな道を開くことが示されている。
本稿では,これらの勾配流の設計成分を精査することにより,このサンプリング手法に3つの貢献を行う。
論文 参考訳（メタデータ） (2023-10-05T15:20:35Z) - Gradient Flows for Sampling: Mean-Field Models, Gaussian Approximations and Affine Invariance [10.153270126742369]
確率密度空間とガウス空間の両方における勾配流について検討する。
ガウス空間のフローは、フローのガウス近似として理解することができる。
論文 参考訳（メタデータ） (2023-02-21T21:44:08Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Large-Scale Wasserstein Gradient Flows [84.73670288608025]
ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。
我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。
その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
論文 参考訳（メタデータ） (2021-06-01T19:21:48Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。