論文の概要: Overparametrization improves robustness against adversarial attacks: A
replication study
- arxiv url: http://arxiv.org/abs/2202.09735v1
- Date: Sun, 20 Feb 2022 05:50:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-22 19:50:41.147831
- Title: Overparametrization improves robustness against adversarial attacks: A
replication study
- Title(参考訳): オーバーパラメトリゼーションは敵攻撃に対する堅牢性を改善する:複製研究
- Authors: Ali Borji
- Abstract要約: オーバーパラメトリゼーションが精度とロバスト性をどのようにモデル化するかについて検討する。
我々は、頑健な知覚に批判的ではあるが、過度なパラメータ化は完全な堅牢性を達成するには不十分であると主張している。
- 参考スコア(独自算出の注目度): 47.64219291655723
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Overparametrization has become a de facto standard in machine learning.
Despite numerous efforts, our understanding of how and where
overparametrization helps model accuracy and robustness is still limited. To
this end, here we conduct an empirical investigation to systemically study and
replicate previous findings in this area, in particular the study by Madry et
al. Together with this study, our findings support the "universal law of
robustness" recently proposed by Bubeck et al. We argue that while critical for
robust perception, overparametrization may not be enough to achieve full
robustness and smarter architectures e.g. the ones implemented by the human
visual cortex) seem inevitable.
- Abstract(参考訳): オーバーパラメトリゼーションは機械学習のデファクトスタンダードになっている。
数多くの努力にもかかわらず、過度パラメータ化がモデルの正確性と堅牢性にどのように役立つかの理解はまだ限られている。
この目的のために,本研究では,この領域,特にMadryらの研究を体系的に研究し,再現するための実証的研究を行っている。
本研究とともに,Bubeckらにより最近提唱された「強靭性に関する普遍法則」を支持した。
我々は、頑健な知覚に批判的ではあるが、過度なパラメータ化は完全な堅牢性とよりスマートなアーキテクチャ(例えば人間の視覚野によって実装されたもの)を達成するには不十分であると主張する。
関連論文リスト
- Exploring the Adversarial Frontier: Quantifying Robustness via
Adversarial Hypervolume [18.4516572499628]
本稿では,様々な摂動強度に対して総合的に深層学習モデルの頑健性を評価するための,対向超体積と呼ばれる新しい計量法を提案する。
我々は,様々な摂動強度の対向的堅牢性を均一に向上する新しいトレーニングアルゴリズムを採用する。
本研究はロバスト性の新しい尺度に寄与し、敵の脅威に対するベンチマーク評価と、現在および将来の防御モデルのレジリエンスの基準を確立する。
論文 参考訳(メタデータ) (2024-03-08T07:03:18Z) - Understanding Data Augmentation from a Robustness Perspective [10.063624819905508]
データ拡張は、モデルの堅牢性を増幅するための重要なテクニックとして際立っている。
この写本は、この現象を理解するための理論的および実証的なアプローチを採っている。
我々の経験的評価は、エンブレマ的なデータ拡張戦略の複雑なメカニズムを解明するものである。
これらの洞察は、視覚認識タスクにおけるモデルの安全性と堅牢性を再評価する新しいレンズを提供する。
論文 参考訳(メタデータ) (2023-09-07T10:54:56Z) - Seeing is not Believing: Robust Reinforcement Learning against Spurious
Correlation [57.351098530477124]
国家の異なる部分には、保存されていない共同設立者が引き起こす相関関係が存在しない。
このような役に立たないあるいは有害な相関を学習するモデルは、テストケースの共同創設者がトレーニングケースから逸脱したときに破滅的に失敗する可能性がある。
したがって、単純かつ非構造的な不確実性集合を仮定する既存の頑健なアルゴリズムは、この問題に対処するには不十分である。
論文 参考訳(メタデータ) (2023-07-15T23:53:37Z) - It begins with a boundary: A geometric view on probabilistically robust
learning [2.0388938295521575]
我々はそのような方法の1つの新鮮で幾何学的な見方を取る --確率論的ロバスト学習(PRL)
本稿では, PRLの理解のための幾何学的枠組みを提案し, 元の定式化における微妙な欠陥を識別する。
我々は,新しい緩和法と物性を用いた解の存在を証明し,導入したペリメータの局所的限界を検証した。
論文 参考訳(メタデータ) (2023-05-30T06:24:30Z) - Re-thinking Data Availablity Attacks Against Deep Neural Networks [53.64624167867274]
本稿では、未学習例の概念を再検討し、既存のロバストな誤り最小化ノイズが不正確な最適化目標であることを示す。
本稿では,計算時間要件の低減による保護性能の向上を図った新しい最適化パラダイムを提案する。
論文 参考訳(メタデータ) (2023-05-18T04:03:51Z) - Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。
私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
論文 参考訳(メタデータ) (2022-07-19T12:52:33Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳(メタデータ) (2021-06-18T16:34:23Z) - On Feature Decorrelation in Self-Supervised Learning [15.555208840500086]
最近のアプローチから最も一般的なコンポーネントを含むフレームワークについて検討する。
次元崩壊を軸間の強い相関関係と結び付け、そのような関係を特徴デコリレーションの強い動機とみなす。
論文 参考訳(メタデータ) (2021-05-02T13:28:18Z) - Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。
本研究では,長尾分布下における敵対的脆弱性と防御について検討する。
我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
論文 参考訳(メタデータ) (2021-04-06T17:53:08Z) - Adversarially Robust Estimate and Risk Analysis in Linear Regression [17.931533943788335]
反対に堅牢な学習は、入力変数の小さな反対の摂動に対して堅牢なアルゴリズムを設計することを目指している。
逆ロバストな推定器の収束率を統計的に最小化することで,モデル情報の導入の重要性を強調する。
本研究では, モデル構造情報を活用することで, 素直な2段階の対人学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-12-18T14:55:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。