論文の概要: On-Manifold Projected Gradient Descent

• arxiv url: http://arxiv.org/abs/2308.12279v1
• Date: Wed, 23 Aug 2023 17:50:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 13:17:58.498290
• Title: On-Manifold Projected Gradient Descent
• Title（参考訳）: on-manifold投影勾配降下
• Authors: Aaron Mahler, Tyrus Berry, Tom Stephens, Harbir Antil, Michael Merritt, Jeanie Schreiber, Ioannis Kevrekidis
• Abstract要約: この研究は、高次元データに対するクラス多様体の微分幾何学に対する計算可能で直接的で数学的に厳密な近似を提供する。 ツールはニューラルネットワーク画像分類器の設定に適用され、新しいオンマンフォールドデータサンプルを生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work provides a computable, direct, and mathematically rigorous approximation to the differential geometry of class manifolds for high-dimensional data, along with nonlinear projections from input space onto these class manifolds. The tools are applied to the setting of neural network image classifiers, where we generate novel, on-manifold data samples, and implement a projected gradient descent algorithm for on-manifold adversarial training. The susceptibility of neural networks (NNs) to adversarial attack highlights the brittle nature of NN decision boundaries in input space. Introducing adversarial examples during training has been shown to reduce the susceptibility of NNs to adversarial attack; however, it has also been shown to reduce the accuracy of the classifier if the examples are not valid examples for that class. Realistic "on-manifold" examples have been previously generated from class manifolds in the latent of an autoencoder. Our work explores these phenomena in a geometric and computational setting that is much closer to the raw, high-dimensional input space than can be provided by VAE or other black box dimensionality reductions. We employ conformally invariant diffusion maps (CIDM) to approximate class manifolds in diffusion coordinates, and develop the Nystr\"{o}m projection to project novel points onto class manifolds in this setting. On top of the manifold approximation, we leverage the spectral exterior calculus (SEC) to determine geometric quantities such as tangent vectors of the manifold. We use these tools to obtain adversarial examples that reside on a class manifold, yet fool a classifier. These misclassifications then become explainable in terms of human-understandable manipulations within the data, by expressing the on-manifold adversary in the semantic basis on the manifold.
• Abstract（参考訳）: この研究は、高次元データに対するクラス多様体の微分幾何学に対する計算可能で直接的で数学的に厳密な近似と、入力空間からこれらのクラス多様体への非線形射影を提供する。 これらのツールはニューラルネットワーク画像分類器の設定に適用され、新しいオンマンフォールドデータサンプルを生成し、オンマンフォールド逆行訓練のための予測勾配降下アルゴリズムを実装している。 ニューラルネットワーク(NN)の敵攻撃に対する感受性は、入力空間におけるNN決定境界の脆弱な性質を強調している。 トレーニング中の敵の例の導入は、NNの敵の攻撃に対する感受性を低下させることが示されているが、その例がそのクラスの有効な例でない場合は、分類器の精度を低下させることも示されている。 実数的な「on-manifold」の例は、以前オートエンコーダの潜在するクラス多様体から生成される。 私たちの研究は、vaeや他のブラックボックス次元還元によって得られるものよりも、生の高次元の入力空間にかなり近い幾何学的および計算的な設定でこれらの現象を探求する。 我々は拡散座標におけるクラス多様体を近似するために共形不変拡散写像(cidm)を使い、この設定でクラス多様体に新しい点を射影するnystr\"{o}m射影を開発した。 多様体近似の上では、スペクトル外微分法(sec)を利用して多様体の接ベクトルのような幾何学的量を決定する。 これらのツールを使って、クラス多様体上に存在する逆例を得るが、分類器を騙す。 これらの誤分類は、データ内の人間の理解可能な操作の観点から説明可能となり、多様体のセマンティックベースでオンマンフォールドの敵を表現する。

関連論文リスト

• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
  本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。 このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T19:58:03Z)
• The Manifold Scattering Transform for High-Dimensional Point Cloud Data [16.500568323161563]
  本稿では,自然システムにおけるデータセットへの多様体散乱変換の実装のための実践的スキームを提案する。 本手法は信号の分類や多様体の分類に有効であることを示す。
  論文  参考訳（メタデータ） (2022-06-21T02:15:00Z)
• Diagnosing and Fixing Manifold Overfitting in Deep Generative Models [11.82509693248749]
  ニューラルネットワークを使ってフレキシブルな高次元密度を構築する。 観測データは高次元空間に埋め込まれた低次元多様体上に存在することを示す。 そこで本研究では,次元削減ステップと最大線密度推定を併用した2段階の手順のクラスを提案する。
  論文  参考訳（メタデータ） (2022-04-14T18:00:03Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples [67.23103682776049]
  画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
  論文  参考訳（メタデータ） (2021-03-04T20:53:06Z)
• Manifold Learning via Manifold Deflation [105.7418091051558]
  次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。 多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。 本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。 実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
  論文  参考訳（メタデータ） (2020-07-07T10:04:28Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。