論文の概要: Canonical foliations of neural networks: application to robustness
- arxiv url: http://arxiv.org/abs/2203.00922v1
- Date: Wed, 2 Mar 2022 08:09:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-03 14:16:54.974049
- Title: Canonical foliations of neural networks: application to robustness
- Title（参考訳）: ニューラルネットワークの正準剥離-ロバストネスへの応用
- Authors: Eliot Tron, Nicolas Couellan, St\'ephane Puechmorel
- Abstract要約: 敵対的攻撃は、機械学習の信頼性に対する新たな脅威である。
データ空間の曲率を考慮して,新たな敵攻撃を発生させる。
私たちの攻撃は、$tXor$関数を模倣するように訓練されたおもちゃのニューラルネットワークでテストされます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial attack is an emerging threat to the trustability of machine
learning. Understanding these attacks is becoming a crucial task. We propose a
new vision on neural network robustness using Riemannian geometry and foliation
theory, and create a new adversarial attack by taking into account the
curvature of the data space. This new adversarial attack called the "dog-leg
attack" is a two-step approximation of a geodesic in the data space. The data
space is treated as a (pseudo) Riemannian manifold equipped with the pullback
of the Fisher Information Metric (FIM) of the neural network. In most cases,
this metric is only semi-definite and its kernel becomes a central object to
study. A canonical foliation is derived from this kernel. The curvature of the
foliation's leaves gives the appropriate correction to get a two-step
approximation of the geodesic and hence a new efficient adversarial attack. Our
attack is tested on a toy example, a neural network trained to mimic the
$\texttt{Xor}$ function, and demonstrates better results that the state of the
art attack presented by Zhao et al. (2019).
- Abstract（参考訳）: 敵対的攻撃は、機械学習の信頼性に対する新たな脅威である。
これらの攻撃を理解することが重要な課題になりつつある。
我々は,リーマン幾何学と葉理論を用いたニューラルネットワークのロバスト性に関する新しいビジョンを提案し,データ空間の曲率を考慮に入れた新たな敵攻撃を創出する。
この新しい敵対的攻撃は「ドッグ・レッグ攻撃」と呼ばれ、データ空間における測地線を2段階近似する。
データ空間は、ニューラルネットワークのFiher Information Metric(FIM)の引き戻しを備えた(擬)リーマン多様体として扱われる。
ほとんどの場合、この計量は半定値であり、その核は研究対象の中心となる。
標準葉は、このカーネルに由来する。
葉の葉の曲率は、測地線を2段階近似する適切な補正を与え、従って新しい効率的な対向攻撃を与える。
我々の攻撃は、$\texttt{Xor}$関数を模倣するように訓練されたニューラルネットワークのおもちゃの例でテストされ、Zhao et al. (2019)によって提示されたアートアタックの状態がより良い結果を示す。
関連論文リスト
- Compositional Curvature Bounds for Deep Neural Networks [7.373617024876726]
安全クリティカルなアプリケーションにおけるニューラルネットワークの普及を脅かす重要な課題は、敵の攻撃に対する脆弱性である。
本研究では, 連続的に微分可能な深層ニューラルネットワークの2次挙動について検討し, 対向摂動に対する堅牢性に着目した。
ニューラルネットワークの第2微分の証明可能な上界を解析的に計算する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-07T17:50:15Z) - Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳（メタデータ） (2024-05-24T06:30:36Z) - Wasserstein distributional robustness of neural networks [9.79503506460041]
ディープニューラルネットワークは敵攻撃(AA)に弱いことが知られている
画像認識タスクでは、元の小さな摂動によって画像が誤分類される可能性がある。
本稿では,Wassersteinの分散ロバスト最適化(DRO)技術を用いて問題を再検討し,新しいコントリビューションを得た。
論文 参考訳（メタデータ） (2023-06-16T13:41:24Z) - A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。
そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。
SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文 参考訳（メタデータ） (2023-03-06T14:31:09Z) - Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。
我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。
得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
論文 参考訳（メタデータ） (2022-01-23T21:18:17Z) - A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。
新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。
モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
論文 参考訳（メタデータ） (2022-01-14T06:42:42Z) - A singular Riemannian geometry approach to Deep Neural Networks II.
Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。
我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文 参考訳（メタデータ） (2021-12-17T11:47:45Z) - Meta Adversarial Perturbations [66.43754467275967]
メタ逆境摂動(MAP)の存在を示す。
MAPは1段階の上昇勾配更新によって更新された後、自然画像を高い確率で誤分類する。
これらの摂動は画像に依存しないだけでなく、モデルに依存しないものであり、単一の摂動は見えないデータポイントと異なるニューラルネットワークアーキテクチャにまたがってうまく一般化される。
論文 参考訳（メタデータ） (2021-11-19T16:01:45Z) - Targeted Attack against Deep Neural Networks via Flipping Limited Weight
Bits [55.740716446995805]
我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。
私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。
整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
論文 参考訳（メタデータ） (2021-02-21T03:13:27Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳（メタデータ） (2020-05-20T16:56:08Z) - Depth-2 Neural Networks Under a Data-Poisoning Attack [2.105564340986074]
本研究では,浅層ニューラルネットワークをレグレッション・セットアップでトレーニングしながら,データ中毒攻撃に対する防御の可能性について検討する。
本研究では,深度2有限幅ニューラルネットワークのクラスに対して教師あり学習を行うことに焦点をあてる。
論文 参考訳（メタデータ） (2020-05-04T17:56:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。