論文の概要: Lipschitz Bounds and Provably Robust Training by Laplacian Smoothing
- arxiv url: http://arxiv.org/abs/2006.03712v3
- Date: Thu, 22 Oct 2020 23:02:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 03:54:17.946530
- Title: Lipschitz Bounds and Provably Robust Training by Laplacian Smoothing
- Title（参考訳）: リプシッツ境界とラプラシアン平滑化によるロバストトレーニング
- Authors: Vishaal Krishnan, Abed AlRahman Al Makdah, Fabio Pasqualetti
- Abstract要約: リプシッツ制約による損失最小化の1つとして、逆向きに頑健な学習問題を定式化する。
関連するラグランジアンのサドル点は、重み付きラプラス作用素を持つポアソン方程式によって特徴づけられることを示す。
グラフに基づく入力空間の離散化と、ラグランジアンサドル点に収束する原始双対アルゴリズムを用いて、証明可能なロバストなトレーニングスキームを設計する。
- 参考スコア（独自算出の注目度）: 7.4769019455423855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work we propose a graph-based learning framework to train models with
provable robustness to adversarial perturbations. In contrast to
regularization-based approaches, we formulate the adversarially robust learning
problem as one of loss minimization with a Lipschitz constraint, and show that
the saddle point of the associated Lagrangian is characterized by a Poisson
equation with weighted Laplace operator. Further, the weighting for the Laplace
operator is given by the Lagrange multiplier for the Lipschitz constraint,
which modulates the sensitivity of the minimizer to perturbations. We then
design a provably robust training scheme using graph-based discretization of
the input space and a primal-dual algorithm to converge to the Lagrangian's
saddle point. Our analysis establishes a novel connection between elliptic
operators with constraint-enforced weighting and adversarial learning. We also
study the complementary problem of improving the robustness of minimizers with
a margin on their loss, formulated as a loss-constrained minimization problem
of the Lipschitz constant. We propose a technique to obtain robustified
minimizers, and evaluate fundamental Lipschitz lower bounds by approaching
Lipschitz constant minimization via a sequence of gradient $p$-norm
minimization problems. Ultimately, our results show that, for a desired nominal
performance, there exists a fundamental lower bound on the sensitivity to
adversarial perturbations that depends only on the loss function and the data
distribution, and that improvements in robustness beyond this bound can only be
made at the expense of nominal performance. Our training schemes provably
achieve these bounds both under constraints on performance and~robustness.
- Abstract（参考訳）: 本研究では,逆摂動に対する堅牢性を証明可能なモデルで学習するグラフベースの学習フレームワークを提案する。
正規化に基づくアプローチとは対照的に、逆ロバストな学習問題をリプシッツ制約付き損失最小化の一つとして定式化し、関連するラグランジアンの鞍点が重み付きラプラス作用素を持つポアソン方程式によって特徴づけられることを示した。
さらに、ラプラス作用素の重み付けはリプシッツ制約に対するラグランジュ乗算器によって与えられ、これは摂動に対する最小子の感度を変調する。
次に、入力空間のグラフに基づく離散化とラグランジアンの鞍点に収束する原始双対アルゴリズムを用いて、証明可能なロバストなトレーニングスキームを設計する。
本分析は,制約強化重み付けと対角学習による楕円演算子間の新たな関係を確立する。
また,リプシッツ定数の損失制約最小化問題として定式化した最小化器のロバスト性向上に関する予備問題についても検討した。
そこで我々は, 勾配$p$-norm最小化問題を用いて, リプシッツ定数最小化に近づき, 基本リプシッツ下限値を評価する手法を提案する。
結論として, 目的とする名目性能に対して, 損失関数とデータ分布のみに依存する逆摂動に対する感度に根本的な限界があること, そして, この限界を超える堅牢性の改善は名目性能を犠牲にしてのみ達成できることを示した。
我々のトレーニングスキームは、性能の制約と−損益性の両方で、これらの境界を確実に達成します。
関連論文リスト
- Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。
本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
論文 参考訳（メタデータ） (2024-06-28T02:56:22Z) - Certified Robustness via Dynamic Margin Maximization and Improved
Lipschitz Regularization [43.98504250013897]
我々は、弱い方向に沿ってモデルのリプシッツ定数を規則化しながら、出力(ロジット)空間のマージンを増大させる頑健なトレーニングアルゴリズムを開発する。
境界の相対的精度は過剰な正規化を防ぎ、決定境界をより直接的に操作することができる。
MNIST, CIFAR-10 および Tiny-ImageNet データセットを用いた実験により,提案アルゴリズムが最先端技術と比較して競争力に向上した結果が得られることを確認した。
論文 参考訳（メタデータ） (2023-09-29T20:07:02Z) - Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。
GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。
この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
論文 参考訳（メタデータ） (2022-06-08T21:32:50Z) - Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。
演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文 参考訳（メタデータ） (2022-01-21T02:46:57Z) - Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
一次元回帰問題に対する連続領域定式化を提案する。
リプシッツ定数をユーザ定義上界を用いて明示的に制御する。
いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
論文 参考訳（メタデータ） (2021-12-27T07:03:43Z) - Concave Utility Reinforcement Learning with Zero-Constraint Violations [43.29210413964558]
本稿では,凸制約を伴うCURL(Concave utility reinforcement Learning)の問題点について考察する。
制約違反をゼロにするモデルベース学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-12T06:13:33Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。
新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。
画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
論文 参考訳（メタデータ） (2020-10-05T01:00:40Z) - On Lower Bounds for Standard and Robust Gaussian Process Bandit
Optimization [55.937424268654645]
有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。
本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
論文 参考訳（メタデータ） (2020-08-20T03:48:14Z) - Dynamic Regret of Convex and Smooth Functions [93.71361250701075]
非定常環境におけるオンライン凸最適化について検討する。
パフォーマンス指標として動的後悔を選択します。
本研究では, 滑らかさを活かして, 動的後悔をさらに高めることが可能であることを示す。
論文 参考訳（メタデータ） (2020-07-07T14:10:57Z) - Achieving robustness in classification using optimal transport with
hinge regularization [7.780418853571034]
最適輸送に基づく二項分類のための新しいフレームワークを提案する。
我々は、ワッサーシュタイン距離推定のためのカントロビッチ・ルビンシュタイン双対定式化のヒンジ正規化版である新しい損失を用いて1-Lipschitzネットワークを学習する。
論文 参考訳（メタデータ） (2020-06-11T15:36:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。