論文の概要: Adversarial Examples Might be Avoidable: The Role of Data Concentration
in Adversarial Robustness
- arxiv url: http://arxiv.org/abs/2309.16096v1
- Date: Thu, 28 Sep 2023 01:39:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-29 18:27:03.860218
- Title: Adversarial Examples Might be Avoidable: The Role of Data Concentration
in Adversarial Robustness
- Title(参考訳): 敵対的事例は避けられる:―敵対的ロバスト性におけるデータ集中の役割―
- Authors: Ambar Pal, Jeremias Sulam, Ren\'e Vidal
- Abstract要約: 入力空間の小体積部分集合に対する濃度は、ロバストな分類器が存在するかどうかを決定する。
さらに、低次元線形部分空間の結合に集中したデータ分布に対して、データ構造を自然に活用すると、良質なロバスト性を保証する分類器が得られることを実証する。
- 参考スコア(独自算出の注目度): 11.05837831729879
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The susceptibility of modern machine learning classifiers to adversarial
examples has motivated theoretical results suggesting that these might be
unavoidable. However, these results can be too general to be applicable to
natural data distributions. Indeed, humans are quite robust for tasks involving
vision. This apparent conflict motivates a deeper dive into the question: Are
adversarial examples truly unavoidable? In this work, we theoretically
demonstrate that a key property of the data distribution -- concentration on
small-volume subsets of the input space -- determines whether a robust
classifier exists. We further demonstrate that, for a data distribution
concentrated on a union of low-dimensional linear subspaces, exploiting data
structure naturally leads to classifiers that enjoy good robustness guarantees,
improving upon methods for provable certification in certain regimes.
- Abstract(参考訳): 現代の機械学習分類器の敵例に対する感受性は、これらが避けられないかもしれないという理論的な結果を動機づけている。
しかし、これらの結果は自然データ分布に適用するには一般的すぎる。
実際、人間は視覚に関わるタスクに非常に頑健です。
この明らかな対立は、この問題を深く掘り下げる動機となっている: 敵の例は本当に避けられないのか?
本研究では,データ分布の重要な特性 -- 入力空間の小さな部分集合に集中する -- がロバストな分類器が存在するかどうかを理論的に証明する。
さらに,低次元線形部分空間の結合に集中したデータ分布では,データ構造を自然に活用することで,ロバスト性保証を良好に享受できる分類器が生まれ,特定の領域において証明可能な認証方法が改善されることを実証する。
関連論文リスト
- Can Active Sampling Reduce Causal Confusion in Offline Reinforcement
Learning? [58.942118128503104]
因果的混乱(英: Causal confusion)とは、エージェントがデータ中の不完全な急激な相関を反映するポリシーを学ぶ現象である。
この現象は特にロボット工学などの領域で顕著である。
本稿では,オフライン強化学習における因果的混乱について検討する。
論文 参考訳(メタデータ) (2023-12-28T17:54:56Z) - How adversarial attacks can disrupt seemingly stable accurate
classifiers [80.2657717174889]
敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。
ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。
実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
論文 参考訳(メタデータ) (2023-09-07T12:02:00Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳(メタデータ) (2023-06-04T02:32:12Z) - Uncertainty in Contrastive Learning: On the Predictability of Downstream
Performance [7.411571833582691]
このような表現の不確実性は、単一のデータポイントに対して有意義な方法で定量化できるかどうかを考察する。
埋め込み空間におけるトレーニングデータの分布を直接推定することにより,この目標を達成することができることを示す。
論文 参考訳(メタデータ) (2022-07-19T15:44:59Z) - Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。
本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
論文 参考訳(メタデータ) (2021-12-31T00:27:31Z) - Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。
特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。
次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
論文 参考訳(メタデータ) (2021-08-06T05:20:46Z) - Hybrid Generative-Contrastive Representation Learning [32.84066504783469]
コントラストと生成的損失の両方で訓練されたトランスフォーマーベースのエンコーダデコーダアーキテクチャは、生成性能を損なうことなく、高い識別性および堅牢性を持つ表現を学習できることを示す。
論文 参考訳(メタデータ) (2021-06-11T04:23:48Z) - Nonlinear Invariant Risk Minimization: A Causal Approach [5.63479133344366]
非線形環境下での分布外一般化を可能にする学習パラダイムを提案する。
我々は、非常に単純な変換までデータ表現の識別性を示す。
合成データと実世界のデータセットの両方に関する広範な実験は、我々のアプローチが様々なベースラインメソッドを大きく上回っていることを示している。
論文 参考訳(メタデータ) (2021-02-24T15:38:41Z) - Learning to Separate Clusters of Adversarial Representations for Robust
Adversarial Detection [50.03939695025513]
本稿では,最近導入された非破壊的特徴を動機とした新しい確率的対向検出器を提案する。
本稿では,非ロバスト特徴を逆例の共通性と考え,その性質に対応する表現空間におけるクラスターの探索が可能であることを推定する。
このアイデアは、別のクラスタ内の逆表現の確率推定分布を導出し、その分布を確率に基づく逆検出器として活用する。
論文 参考訳(メタデータ) (2020-12-07T07:21:18Z) - Not All Datasets Are Born Equal: On Heterogeneous Data and Adversarial
Examples [46.625818815798254]
我々は、異種データで訓練された機械学習モデルは、同種データで訓練された機械学習モデルと同じくらい敵の操作に影響を受けやすいと論じる。
不均一な入力空間における逆摂動を識別する汎用的な最適化フレームワークを提案する。
その結果、異種データセットの入力妥当性に制約が課されているにもかかわらず、そのようなデータを用いて訓練された機械学習モデルは相変わらず敵の例にも適用可能であることが示された。
論文 参考訳(メタデータ) (2020-10-07T05:24:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。