論文の概要: The Geometry of Adversarial Training in Binary Classification
- arxiv url: http://arxiv.org/abs/2111.13613v1
- Date: Fri, 26 Nov 2021 17:19:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-29 16:05:41.235358
- Title: The Geometry of Adversarial Training in Binary Classification
- Title（参考訳）: バイナリ分類における対人訓練の幾何学
- Authors: Leon Bungert, Nicol\'as Garc\'ia Trillos, Ryan Murray
- Abstract要約: 我々は,非パラメトリック二分分類における対角的学習問題の族と正規化リスク最小化問題の族との同値性を確立する。
結果として生じる正規化リスク最小化問題は、$L1+$(非局所)$operatornameTV$の正確な凸緩和を許容する。
- 参考スコア（独自算出の注目度）: 1.2891210250935143
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We establish an equivalence between a family of adversarial training problems
for non-parametric binary classification and a family of regularized risk
minimization problems where the regularizer is a nonlocal perimeter functional.
The resulting regularized risk minimization problems admit exact convex
relaxations of the type $L^1+$ (nonlocal) $\operatorname{TV}$, a form
frequently studied in image analysis and graph-based learning. A rich geometric
structure is revealed by this reformulation which in turn allows us to
establish a series of properties of optimal solutions of the original problem,
including the existence of minimal and maximal solutions (interpreted in a
suitable sense), and the existence of regular solutions (also interpreted in a
suitable sense). In addition, we highlight how the connection between
adversarial training and perimeter minimization problems provides a novel,
directly interpretable, statistical motivation for a family of regularized risk
minimization problems involving perimeter/total variation. The majority of our
theoretical results are independent of the distance used to define adversarial
attacks.
- Abstract（参考訳）: 正規化子を非局所周囲汎関数とする非パラメトリック二分分類の逆訓練問題と正規化リスク最小化問題との同値性を確立する。
その結果生じる正規化リスク最小化問題は、画像解析やグラフベースの学習でよく研究される形式である$l^1+$ (非ローカル)$\operatorname{tv}$の正確な凸緩和を許容する。
この改定によってリッチな幾何学構造が明らかにされ、従って、最小かつ極大解の存在(適切な意味で解釈される)や正則解の存在(適切な意味でも解釈される)を含む、元の問題の最適解の一連の性質を確立することができる。
さらに,本研究では,周辺変動を含む正規化リスク最小化問題の家族に対して,敵意訓練と周辺最小化問題との関係が,新たな,直接解釈可能な統計的動機付けをもたらすことを強調する。
理論的結果の大部分は、敵攻撃を定義するために使用される距離とは無関係である。
関連論文リスト
- On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。
我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
論文 参考訳（メタデータ） (2024-10-21T14:53:12Z) - A mean curvature flow arising in adversarial training [1.2289361708127877]
我々は、二項分類のための対角訓練を、決定境界に対する幾何学的進化方程式に結びつける。
このスキームは単調かつ一貫したものであり、敵の予算が消滅し、周辺がローカライズされると証明する。
このことは、対人訓練の有効性は、決定境界の長さを局所的に最小化することによる可能性があることを強調している。
論文 参考訳（メタデータ） (2024-04-22T17:58:36Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳（メタデータ） (2023-11-04T11:12:24Z) - Specifying and Solving Robust Empirical Risk Minimization Problems Using CVXPY [39.47096356027248]
いくつかの単純な場合、そのような問題は解析的な形で表すことができる。
一般に、問題は双対化によって引き出すことができ、min-max問題からmin-min問題へと変換される。
本稿では,CVXPYを用いて,この二元化手順をユーザフレンドリな方法で自動化する方法を実証する。
論文 参考訳（メタデータ） (2023-06-09T03:35:33Z) - It begins with a boundary: A geometric view on probabilistically robust learning [6.877576704011329]
我々はそのような方法の1つの新鮮で幾何学的な見方を取る --確率論的ロバスト学習(PRL)
我々は, 新規緩和法を用いて, オリジナルおよび修正問題の解が存在することを証明した。
また,適切な$Gamma$-convergence解析により,原型および修正型PRLモデルがリスク最小化と対向トレーニングの間を介在する方法を明らかにした。
論文 参考訳（メタデータ） (2023-05-30T06:24:30Z) - Mitigating multiple descents: A model-agnostic framework for risk
monotonization [84.6382406922369]
クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。
本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:41:40Z) - Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。
演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文 参考訳（メタデータ） (2022-01-21T02:46:57Z) - A Theorem of the Alternative for Personalized Federated Learning [19.499120576896228]
個人化された連合学習の過剰なリスクが、ミニマックスの観点からデータの不均一性に依存することを示す。
その結果,クライアントサイドの不均質性に適応する難易度(無限次元)問題は,単純な二分決定問題に還元できることがわかった。
論文 参考訳（メタデータ） (2021-03-02T17:58:20Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z) - Total Deep Variation: A Stable Regularizer for Inverse Problems [71.90933869570914]
本稿では,データ駆動型汎用全深度変動正規化器について紹介する。
コアでは、畳み込みニューラルネットワークが複数のスケールや連続したブロックで局所的な特徴を抽出する。
我々は多数の画像処理タスクに対して最先端の結果を得る。
論文 参考訳（メタデータ） (2020-06-15T21:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。