論文の概要: Canonical foliations of neural networks: application to robustness
- arxiv url: http://arxiv.org/abs/2203.00922v2
- Date: Mon, 5 Jun 2023 13:15:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 05:42:05.811994
- Title: Canonical foliations of neural networks: application to robustness
- Title（参考訳）: ニューラルネットワークの正準剥離-ロバストネスへの応用
- Authors: Eliot Tron, Nicolas Couellan, St\'ephane Puechmorel
- Abstract要約: ディープラーニングモデルは敵の攻撃に弱いことが知られている。
本稿では,リーマン幾何学と葉形成理論を用いたニューラルネットワークのロバスト性に関する新しいビジョンを提案する。
提案手法は,データ空間の曲率を考慮に入れた新たな逆攻撃を生成することで説明される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning models are known to be vulnerable to adversarial attacks.
Adversarial learning is therefore becoming a crucial task. We propose a new
vision on neural network robustness using Riemannian geometry and foliation
theory. The idea is illustrated by creating a new adversarial attack that takes
into account the curvature of the data space. This new adversarial attack
called the two-step spectral attack is a piece-wise linear approximation of a
geodesic in the data space. The data space is treated as a (degenerate)
Riemannian manifold equipped with the pullback of the Fisher Information Metric
(FIM) of the neural network. In most cases, this metric is only semi-definite
and its kernel becomes a central object to study. A canonical foliation is
derived from this kernel. The curvature of transverse leaves gives the
appropriate correction to get a two-step approximation of the geodesic and
hence a new efficient adversarial attack. The method is first illustrated on a
2D toy example in order to visualize the neural network foliation and the
corresponding attacks. Next, experiments on the MNIST dataset with the proposed
technique and a state of the art attack presented in Zhao et al. (2019) are
reported. The result show that the proposed attack is more efficient at all
levels of available budget for the attack (norm of the attack), confirming that
the curvature of the transverse neural network FIM foliation plays an important
role in the robustness of neural networks.
- Abstract（参考訳）: ディープラーニングモデルは敵の攻撃に弱いことが知られている。
そのため、敵対的学習は重要な課題になりつつある。
リーマン幾何学と葉理論を用いたニューラルネットワークのロバスト性に関する新しいビジョンを提案する。
このアイデアは、データ空間の曲率を考慮した新しい敵の攻撃を作成することによって示される。
2段階のスペクトル攻撃と呼ばれるこの新たな敵攻撃は、データ空間における測地線の分別線形近似である。
データ空間は、ニューラルネットワークのFiher Information Metric(FIM)の引き戻しを備えた(退化)リーマン多様体として扱われる。
ほとんどの場合、この計量は半定値であり、その核は研究対象の中心となる。
標準葉は、このカーネルに由来する。
横葉の曲率は、測地線を2段階近似する適切な補正を与えるため、新しい効率的な逆襲となる。
この方法は、ニューラルネットワークの葉と対応する攻撃を視覚化するために、2dのおもちゃの例で最初に示される。
次に,提案手法を用いたMNISTデータセットとZhao et al. (2019)で提示されたアートアタックの状況について報告する。
その結果、提案手法は攻撃の予算(攻撃のノルム)のあらゆるレベルにおいてより効率的であり、横型ニューラルネットワークのfim葉の曲がり角がニューラルネットワークの頑健性において重要な役割を担っていることが確認された。
関連論文リスト
- Compositional Curvature Bounds for Deep Neural Networks [7.373617024876726]
安全クリティカルなアプリケーションにおけるニューラルネットワークの普及を脅かす重要な課題は、敵の攻撃に対する脆弱性である。
本研究では, 連続的に微分可能な深層ニューラルネットワークの2次挙動について検討し, 対向摂動に対する堅牢性に着目した。
ニューラルネットワークの第2微分の証明可能な上界を解析的に計算する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-07T17:50:15Z) - Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳（メタデータ） (2024-05-24T06:30:36Z) - Wasserstein distributional robustness of neural networks [9.79503506460041]
ディープニューラルネットワークは敵攻撃(AA)に弱いことが知られている
画像認識タスクでは、元の小さな摂動によって画像が誤分類される可能性がある。
本稿では,Wassersteinの分散ロバスト最適化(DRO)技術を用いて問題を再検討し,新しいコントリビューションを得た。
論文 参考訳（メタデータ） (2023-06-16T13:41:24Z) - A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。
そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。
SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文 参考訳（メタデータ） (2023-03-06T14:31:09Z) - Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。
我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。
得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
論文 参考訳（メタデータ） (2022-01-23T21:18:17Z) - A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。
新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。
モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
論文 参考訳（メタデータ） (2022-01-14T06:42:42Z) - A singular Riemannian geometry approach to Deep Neural Networks II.
Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。
我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文 参考訳（メタデータ） (2021-12-17T11:47:45Z) - Meta Adversarial Perturbations [66.43754467275967]
メタ逆境摂動(MAP)の存在を示す。
MAPは1段階の上昇勾配更新によって更新された後、自然画像を高い確率で誤分類する。
これらの摂動は画像に依存しないだけでなく、モデルに依存しないものであり、単一の摂動は見えないデータポイントと異なるニューラルネットワークアーキテクチャにまたがってうまく一般化される。
論文 参考訳（メタデータ） (2021-11-19T16:01:45Z) - Targeted Attack against Deep Neural Networks via Flipping Limited Weight
Bits [55.740716446995805]
我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。
私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。
整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
論文 参考訳（メタデータ） (2021-02-21T03:13:27Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳（メタデータ） (2020-05-20T16:56:08Z) - Depth-2 Neural Networks Under a Data-Poisoning Attack [2.105564340986074]
本研究では,浅層ニューラルネットワークをレグレッション・セットアップでトレーニングしながら,データ中毒攻撃に対する防御の可能性について検討する。
本研究では,深度2有限幅ニューラルネットワークのクラスに対して教師あり学習を行うことに焦点をあてる。
論文 参考訳（メタデータ） (2020-05-04T17:56:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。