論文の概要: Data-Dependent Stability Analysis of Adversarial Training

• arxiv url: http://arxiv.org/abs/2401.03156v1
• Date: Sat, 6 Jan 2024 08:18:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 20:10:50.268967
• Title: Data-Dependent Stability Analysis of Adversarial Training
• Title（参考訳）: 対向訓練におけるデータ依存的安定性解析
• Authors: Yihan Wang and Shuang Liu and Xiao-Shan Gao
• Abstract要約: 敵の訓練は敵の攻撃に対する最も広く使われている防御である。 以前のトレーニングでは、データ配布情報が含まれていなかった。 以上の結果から,データ中毒の一般化による分布変化が示唆された。
• 参考スコア（独自算出の注目度）: 18.686469222136854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stability analysis is an essential aspect of studying the generalization ability of deep learning, as it involves deriving generalization bounds for stochastic gradient descent-based training algorithms. Adversarial training is the most widely used defense against adversarial example attacks. However, previous generalization bounds for adversarial training have not included information regarding the data distribution. In this paper, we fill this gap by providing generalization bounds for stochastic gradient descent-based adversarial training that incorporate data distribution information. We utilize the concepts of on-average stability and high-order approximate Lipschitz conditions to examine how changes in data distribution and adversarial budget can affect robust generalization gaps. Our derived generalization bounds for both convex and non-convex losses are at least as good as the uniform stability-based counterparts which do not include data distribution information. Furthermore, our findings demonstrate how distribution shifts from data poisoning attacks can impact robust generalization.
• Abstract（参考訳）: 安定性解析は、確率勾配勾配に基づく学習アルゴリズムの一般化境界の導出を伴う深層学習の一般化能力を研究する上で不可欠な側面である。 敵の訓練は敵の攻撃に対する最も広く使われている防御である。 しかし,従来の逆行訓練の一般化境界には,データ分布に関する情報は含まれていない。 本稿では,データ分布情報を組み込んだ確率的勾配降下型逆学習のための一般化境界を提供することで,このギャップを埋める。 平均安定性と高次近似リプシッツ条件の概念を用いて、データ分布の変化と対角予算が堅牢な一般化ギャップにどのように影響するかを検討する。 我々の導出した凸損失と非凸損失の一般化境界は、少なくともデータ分散情報を含まない安定性に基づく一様分布と同等である。 さらに,データ中毒攻撃からの分布変化がロバストな一般化にどのように影響を与えるかを示す。

関連論文リスト

• Restoring balance: principled under/oversampling of data for optimal classification [0.0]
  実世界のデータのクラス不均衡は、機械学習タスクに共通のボトルネックをもたらす。 データのアンダーやオーバーサンプリングといった緩和戦略は、定期的に提案され、実証的にテストされる。 我々は、クラス不均衡、データの第1、第2モーメント、考慮されたパフォーマンスの指標に依存するアンダー/オーバーサンプリング戦略の効果を鋭く予測する。
  論文  参考訳（メタデータ） (2024-05-15T17:45:34Z)
• Mixture Data for Training Cannot Ensure Out-of-distribution Generalization [21.801115344132114]
  トレーニングデータのサイズが大きくなると、必ずしもテスト一般化誤差が減少するとは限らない。 本研究では,OODデータを混合学習データの凸内外にあるデータとして定量的に再定義する。 新たなリスクバウンドの証明は、よく訓練されたモデルの有効性が、目に見えないデータに対して保証されることに同意する。
  論文  参考訳（メタデータ） (2023-12-25T11:00:38Z)
• On Practical Aspects of Aggregation Defenses against Data Poisoning Attacks [58.718697580177356]
  悪意のあるトレーニングサンプルを持つディープラーニングモデルに対する攻撃は、データ中毒として知られている。 データ中毒に対する防衛戦略の最近の進歩は、認証された毒性の堅牢性を達成するためのアグリゲーション・スキームの有効性を強調している。 ここでは、Deep Partition Aggregation(ディープ・パーティション・アグリゲーション・アグリゲーション)、代表的アグリゲーション・ディフェンス(アグリゲーション・ディフェンス)に焦点を当て、効率、性能、堅牢性など、その実践的側面を評価する。
  論文  参考訳（メタデータ） (2023-06-28T17:59:35Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• On Generalization of Decentralized Learning with Separable Data [37.908159361149835]
  分離可能なデータに基づく勾配勾配勾配に基づく分散学習のアルゴリズム的および一般化特性について検討する。 具体的には、分散勾配降下と無限大で 0 に漸近する様々な損失関数に対して、新しい有限時間一般化境界を導出する。
  論文  参考訳（メタデータ） (2022-09-15T07:59:05Z)
• Self-balanced Learning For Domain Generalization [64.99791119112503]
  ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。 既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。 本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T03:17:54Z)
• Measuring Generalization with Optimal Transport [111.29415509046886]
  我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。 我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
  論文  参考訳（メタデータ） (2021-06-07T03:04:59Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)
• The Curious Case of Adversarially Robust Models: More Data Can Help, Double Descend, or Hurt Generalization [36.87923859576768]
  敵対的トレーニングは、入力データの摂動に頑健なモデルを作成する能力を示しているが、通常は標準精度の低下を犠牲にしている。 本稿では, 学習データの増加が, 分類問題における相対的ロバストモデルの一般化を損なうことを示す。
  論文  参考訳（メタデータ） (2020-02-25T18:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。