Fugu-MT 論文翻訳(概要): Generalization Bounds for Adversarial Contrastive Learning

論文の概要: Generalization Bounds for Adversarial Contrastive Learning

arxiv url: http://arxiv.org/abs/2302.10633v1
Date: Tue, 21 Feb 2023 12:44:59 GMT
ステータス: 処理完了
システム内更新日: 2023-02-22 15:19:49.831323
Title: Generalization Bounds for Adversarial Contrastive Learning
Title（参考訳）: 逆コントラスト学習のための一般化境界
Authors: Xin Zou, Weiwei Liu
Abstract要約: 我々は、ACLの一般化性能を解析するために、Radecher複雑性を用いる。本理論は, 下流タスクの対向リスクの平均値は, 上流タスクの対向的無監督リスクによって上限付けられることを示す。
参考スコア（独自算出の注目度）: 10.893632710192016
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep networks are well-known to be fragile to adversarial attacks, and adversarial training is one of the most popular methods used to train a robust model. To take advantage of unlabeled data, recent works have applied adversarial training to contrastive learning (Adversarial Contrastive Learning; ACL for short) and obtain promising robust performance. However, the theory of ACL is not well understood. To fill this gap, we leverage the Rademacher complexity to analyze the generalization performance of ACL, with a particular focus on linear models and multi-layer neural networks under $\ell_p$ attack ($p \ge 1$). Our theory shows that the average adversarial risk of the downstream tasks can be upper bounded by the adversarial unsupervised risk of the upstream task. The experimental results validate our theory.
Abstract（参考訳）: ディープネットワークは敵の攻撃に対して脆弱であることがよく知られており、敵の訓練はロバストなモデルを訓練する最も一般的な方法の1つである。ラベルのないデータを活用するために、近年の研究では、コントラスト学習(adversarial contrastive learning; acl)に敵意トレーニングを適用し、有望なパフォーマンスを得る。しかし、ACLの理論はよく理解されていない。このギャップを埋めるために、我々はRadecherの複雑さを活用してACLの一般化性能を分析し、特に$$\ell_p$(p \ge 1$)以下の線形モデルと多層ニューラルネットワークに焦点を当てる。本理論は, 下流タスクの対向リスクの平均値は, 上流タスクの対向的無監督リスクによって上限付けられることを示す。実験結果は我々の理論を検証する。

関連論文リスト

Boosting Adversarial Training via Fisher-Rao Norm-based Regularization [9.975998980413301]
本稿では,ロバスト性と精度のトレードオフを軽減するため,LOAT(Logit-Oriented Adversarial Training)と呼ばれる新たな正規化フレームワークを提案する。実験により,提案した正規化戦略により,有意な対向学習アルゴリズムの性能が向上することを示した。
論文参考訳（メタデータ） (2024-03-26T09:22:37Z)
Post-Training Overfitting Mitigation in DNN Classifiers [31.513866929577336]
学習後MMベースの正規化は,クラス不均衡やオーバートレーニングによる非マチュラスなオーバーフィッティングを著しく軽減することを示す。攻撃に対する弾力性はあるが、クリーン(無攻撃)な一般化を損なう敵の訓練とは異なり、敵の学習に起因したアプローチを実証する。
論文参考訳（メタデータ） (2023-09-28T20:16:24Z)
Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文参考訳（メタデータ） (2023-08-01T06:16:18Z)
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-13T15:39:43Z)
Layer-wise Regularized Adversarial Training using Layers Sustainability Analysis (LSA) framework [8.701566919381223]
敵の攻撃に対する適切な解決策は、堅牢性と一般化の間のトレードオフに達する敵の訓練である。本稿では,ニューラルネットワークの層脆弱性を敵攻撃のシナリオで解析するための新しいフレームワーク (Layer Sustainability Analysis) を提案する。提案したアイデアは、最先端の多層パーセプトロンと畳み込みニューラルネットワークアーキテクチャに対して、理論上、実験的によく機能する。
論文参考訳（メタデータ） (2022-02-05T20:05:53Z)
Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
論文参考訳（メタデータ） (2021-05-18T17:48:15Z)
On the Generalization Properties of Adversarial Training [21.79888306754263]
本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
論文参考訳（メタデータ） (2020-08-15T02:32:09Z)
Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-06-13T08:24:33Z)
Overfitting in adversarially robust deep learning [86.11788847990783]
トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
論文参考訳（メタデータ） (2020-02-26T15:40:50Z)
Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。