論文の概要: Property-driven Training: All You (N)Ever Wanted to Know About
- arxiv url: http://arxiv.org/abs/2104.01396v1
- Date: Sat, 3 Apr 2021 13:06:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-06 14:52:58.157236
- Title: Property-driven Training: All You (N)Ever Wanted to Know About
- Title（参考訳）: プロパティ駆動トレーニング:あなた(N)が知りたかったことすべて
- Authors: Marco Casadio, Matthew Daggitt, Ekaterina Komendantskaya, Wen Kokke,
Daniel Kienitz, Rob Stewart
- Abstract要約: ニューラルネットワークは、ノイズデータ中の一般的なパターンを検出する能力で知られている。
これにより、複雑なAIシステムにおける知覚コンポーネントの一般的なツールとなる。
敵対的なトレーニング、データ拡張、およびLipschitz堅牢性トレーニングは、堅牢性を改善する手段として提案されています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks are known for their ability to detect general patterns in
noisy data. This makes them a popular tool for perception components in complex
AI systems. Paradoxically, they are also known for being vulnerable to
adversarial attacks. In response, various methods such as adversarial training,
data-augmentation and Lipschitz robustness training have been proposed as means
of improving their robustness. However, as this paper explores, these training
methods each optimise for a different definition of robustness. We perform an
in-depth comparison of these different definitions, including their
relationship, assumptions, interpretability and verifiability after training.
We also look at constraint-driven training, a general approach designed to
encode arbitrary constraints, and show that not all of these definitions are
directly encodable. Finally we perform experiments to compare the applicability
and efficacy of the training methods at ensuring the network obeys these
different definitions. These results highlight that even the encoding of such a
simple piece of knowledge such as robustness in neural network training is
fraught with difficult choices and pitfalls.
- Abstract（参考訳）: ニューラルネットワークは、ノイズデータ中の一般的なパターンを検出する能力で知られている。
これにより、複雑なAIシステムにおける知覚コンポーネントの一般的なツールとなる。
逆説的に、敵の攻撃に弱いことでも知られている。
これに対し, 対人訓練, データ強化, リプシッツ頑健性訓練など様々な手法が提案されている。
しかし,本稿では,それぞれ異なるロバスト性の定義を最適化する手法について検討する。
学習後,それらの関係,仮定,解釈可能性,検証可能性など,これらの定義を詳細に比較した。
制約駆動トレーニングは、任意の制約をエンコードするように設計された一般的なアプローチであり、これらすべての定義が直接エンコード可能ではないことを示している。
最後に,ネットワークがこれら異なる定義に従うことを保証するためのトレーニング手法の適用可能性と有効性を比較する実験を行う。
これらの結果は、ニューラルネットワークトレーニングにおける堅牢性などの単純な知識のエンコーディングでさえ、難しい選択と落とし穴に満ちていることを示している。
関連論文リスト
- Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。
本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
論文 参考訳（メタデータ） (2024-10-11T03:59:49Z) - Adversarial Training Should Be Cast as a Non-Zero-Sum Game [121.95628660889628]
対人訓練の2つのプレイヤーゼロサムパラダイムは、十分な強靭性を発揮できていない。
敵のトレーニングアルゴリズムでよく使われるサロゲートベースの緩和は、ロバスト性に関するすべての保証を無効にすることを示す。
対人訓練の新たな非ゼロサム二段階の定式化は、一致し、場合によっては最先端の攻撃よりも優れたフレームワークをもたらす。
論文 参考訳（メタデータ） (2023-06-19T16:00:48Z) - A Comprehensive Study on Robustness of Image Classification Models:
Benchmarking and Rethinking [54.89987482509155]
ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。
画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。
それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
論文 参考訳（メタデータ） (2023-02-28T04:26:20Z) - Addressing Mistake Severity in Neural Networks with Semantic Knowledge [0.0]
ほとんどの堅牢なトレーニング技術は、摂動入力のモデル精度を改善することを目的としている。
強靭性の代替形態として、ニューラルネットワークが挑戦的な状況で犯した誤りの深刻度を低減することを目的としている。
我々は、現在の対人訓練手法を活用して、トレーニングプロセス中に標的の対人攻撃を発生させる。
その結果,本手法は,標準モデルや逆トレーニングモデルと比較して,誤り重大性に対して優れた性能を示した。
論文 参考訳（メタデータ） (2022-11-21T22:01:36Z) - Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。
本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-09-13T07:37:53Z) - Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。
我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
論文 参考訳（メタデータ） (2022-08-17T05:42:59Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Evaluating Membership Inference Through Adversarial Robustness [6.983991370116041]
本稿では,敵の強靭性に基づくメンバシップ推論攻撃の強化手法を提案する。
提案手法をFashion-MNIST, CIFAR-10, CIFAR-100の3つのデータセットで評価した。
論文 参考訳（メタデータ） (2022-05-14T06:48:47Z) - Exploring Memorization in Adversarial Training [58.38336773082818]
本稿では, 能力, 収束, 一般化, 特に強靭なオーバーフィッティングの深い理解を促進するための, 対人訓練(AT)における記憶効果について検討する。
本稿では,詳細な記憶分析を動機とした新たな緩和アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-03T05:39:57Z) - How benign is benign overfitting? [96.07549886487526]
深層ニューラルネットワークにおける敵対的脆弱性の2つの原因について検討する。
ディープニューラルネットワークは基本的にラベルノイズがある場合でも、トレーニングエラーをゼロにする。
我々は、ラベルノイズを敵対的脆弱性の原因の1つとみなしている。
論文 参考訳（メタデータ） (2020-07-08T11:07:10Z) - HYDRA: Pruning Adversarially Robust Neural Networks [58.061681100058316]
ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。
そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。
HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
論文 参考訳（メタデータ） (2020-02-24T19:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。