論文の概要: Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples

• arxiv url: http://arxiv.org/abs/2103.03325v1
• Date: Thu, 4 Mar 2021 20:53:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-08 18:51:34.858990
• Title: Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples
• Title（参考訳）: ハードラベルマニホールド: オンマニホールドアドバンサリの例を見つけるためのクエリ効率の予期せぬ利点
• Authors: Washington Garcia, Pin-Yu Chen, Somesh Jha, Scott Clouse, Kevin R. B. Butler
• Abstract要約: 画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
• 参考スコア（独自算出の注目度）: 67.23103682776049
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Designing deep networks robust to adversarial examples remains an open problem. Likewise, recent zeroth order hard-label attacks on image classification models have shown comparable performance to their first-order, gradient-level alternatives. It was recently shown in the gradient-level setting that regular adversarial examples leave the data manifold, while their on-manifold counterparts are in fact generalization errors. In this paper, we argue that query efficiency in the zeroth-order setting is connected to an adversary's traversal through the data manifold. To explain this behavior, we propose an information-theoretic argument based on a noisy manifold distance oracle, which leaks manifold information through the adversary's gradient estimate. Through numerical experiments of manifold-gradient mutual information, we show this behavior acts as a function of the effective problem dimensionality and number of training points. On real-world datasets and multiple zeroth-order attacks using dimension-reduction, we observe the same universal behavior to produce samples closer to the data manifold. This results in up to two-fold decrease in the manifold distance measure, regardless of the model robustness. Our results suggest that taking the manifold-gradient mutual information into account can thus inform better robust model design in the future, and avoid leakage of the sensitive data manifold.
• Abstract（参考訳）: 相手の例に強いディープネットワークを設計することは、依然としてオープンな問題です。 同様に、画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵するパフォーマンスを示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 本論文では,0次設定におけるクエリ効率が,データマニホールドを介して相手のトラバーサルと結びついていることを論じる。 この振る舞いを説明するために,雑音の多い多様体距離オラクルに基づく情報理論の議論を提案し,敵の勾配推定を通じて多様体情報を漏らす。 多様体勾配相互情報の数値実験により,この挙動が有効な問題次元と訓練点の数の関数として作用することを示す。 実世界のデータセットと次元還元を用いた複数のゼロ次攻撃では、同じ普遍的な挙動を観察して、データ多様体に近いサンプルを生成する。 この結果、モデルロバスト性にかかわらず、多様体距離測度は最大で2倍減少する。 以上の結果から,多様体段階の相互情報を考慮に入れることで,将来より頑健なモデル設計に寄与し,感度の高いデータ多様体の漏洩を回避できることが示唆された。

関連論文リスト

• Adversarial Vulnerability as a Consequence of On-Manifold Inseparibility [16.998477658358773]
  分類タスクを考慮し,データ分布を低次元多様体として特徴付ける。 クリーントレーニングは、悪条件によるオフマニフォールド方向の収束不良を経験していると論じる。 我々は,長期トレーニングと2次手法の活用によるクリーントレーニングにおいて,実験を行い,大幅な堅牢性向上を示す。
  論文  参考訳（メタデータ） (2024-10-09T14:18:52Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• On-Manifold Projected Gradient Descent [0.0]
  この研究は、高次元データに対するクラス多様体の微分幾何学に対する計算可能で直接的で数学的に厳密な近似を提供する。 ツールはニューラルネットワーク画像分類器の設定に適用され、新しいオンマンフォールドデータサンプルを生成する。
  論文  参考訳（メタデータ） (2023-08-23T17:50:50Z)
• On Counterfactual Data Augmentation Under Confounding [30.76982059341284]
  トレーニングデータのバイアスを緩和する手段として、対実データ拡張が出現している。 これらのバイアスは、データ生成プロセスにおいて観測され、観測されていない様々な共役変数によって生じる。 提案手法は,既存の最先端手法が優れた結果を得るのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2023-05-29T16:20:23Z)
• Manifold Learning by Mixture Models of VAEs for Inverse Problems [1.5749416770494704]
  任意の位相の多様体を表現するために,変分オートエンコーダの混合モデルを学習する。 学習多様体に制限されたデータ忠実度項を最小化することにより、逆問題の解法に使用する。 本手法を低次元トイの例に応用し, 脱臭・電気インピーダンストモグラフィーにも応用した。
  論文  参考訳（メタデータ） (2023-03-27T14:29:04Z)
• Convolutional Filtering on Sampled Manifolds [122.06927400759021]
  サンプル多様体上の畳み込みフィルタリングは連続多様体フィルタリングに収束することを示す。 本研究は,ナビゲーション制御の問題点を実証的に明らかにした。
  論文  参考訳（メタデータ） (2022-11-20T19:09:50Z)
• The Manifold Hypothesis for Gradient-Based Explanations [55.01671263121624]
  勾配に基づく説明アルゴリズムは知覚的に整合した説明を提供する。 特徴属性がデータの接する空間と一致しているほど、知覚的に一致している傾向にあることを示す。 説明アルゴリズムは、その説明をデータ多様体と整合させるよう積極的に努力すべきである。
  論文  参考訳（メタデータ） (2022-06-15T08:49:24Z)
• Improving Diffusion Models for Inverse Problems using Manifold Constraints [55.91148172752894]
  我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。 この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。 本手法は理論上も経験上も従来の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-02T09:06:10Z)
• Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
  On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。 ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
  論文  参考訳（メタデータ） (2020-03-24T03:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。