論文の概要: Correlation Analysis between the Robustness of Sparse Neural Networks
and their Random Hidden Structural Priors
- arxiv url: http://arxiv.org/abs/2107.06158v1
- Date: Tue, 13 Jul 2021 15:13:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-14 17:34:06.174483
- Title: Correlation Analysis between the Robustness of Sparse Neural Networks
and their Random Hidden Structural Priors
- Title（参考訳）: スパースニューラルネットワークのロバスト性とそのランダム隠れ構造的前提との相関解析
- Authors: M. Ben Amor, J. Stier, M. Granitzer
- Abstract要約: 本稿では,グラフ理論特性とスパースニューラルネットワークの頑健性との間にある既存の相関関係について検討することを目的とする。
我々の仮説は、ニューラルネットワーク構造の前駆体としてのグラフ理論的性質は、その堅牢性に関係している、というものである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning models have been shown to be vulnerable to adversarial attacks.
This perception led to analyzing deep learning models not only from the
perspective of their performance measures but also their robustness to certain
types of adversarial attacks. We take another step forward in relating the
architectural structure of neural networks from a graph theoretic perspective
to their robustness. We aim to investigate any existing correlations between
graph theoretic properties and the robustness of Sparse Neural Networks. Our
hypothesis is, that graph theoretic properties as a prior of neural network
structures are related to their robustness. To answer to this hypothesis, we
designed an empirical study with neural network models obtained through random
graphs used as sparse structural priors for the networks. We additionally
investigated the evaluation of a randomly pruned fully connected network as a
point of reference.
We found that robustness measures are independent of initialization methods
but show weak correlations with graph properties: higher graph densities
correlate with lower robustness, but higher average path lengths and average
node eccentricities show negative correlations with robustness measures. We
hope to motivate further empirical and analytical research to tightening an
answer to our hypothesis.
- Abstract（参考訳）: ディープラーニングモデルは敵の攻撃に弱いことが示されている。
この認識は、パフォーマンス指標の観点からだけでなく、特定のタイプの敵の攻撃に対する堅牢性から、ディープラーニングモデルの解析につながった。
我々は、グラフ理論の観点からニューラルネットワークのアーキテクチャ構造をロバスト性に関連付けるもう1つの一歩を踏み出す。
本研究では,グラフ理論特性とスパースニューラルネットワークのロバスト性との関係について検討する。
我々の仮説は、ニューラルネットワーク構造に先立つグラフ理論特性は、その頑健性に関連しているというものである。
この仮説に答えるために、我々はニューラルネットワークモデルを用いて、ネットワークのスパース構造的先行として用いられるランダムグラフから得られた経験的研究を設計した。
また,基準点としてランダムに刈り取られた完全接続ネットワークの評価についても検討した。
高次グラフ密度は低次ロバスト性に相関するが、平均経路長と平均ノード偏心度はロバスト性尺度と負の相関を示す。
仮説への答えを締めくくるために、さらなる経験的、分析的な研究を動機付けたいと思っています。
関連論文リスト
- Over-parameterization and Adversarial Robustness in Neural Networks: An Overview and Empirical Analysis [25.993502776271022]
大きなパラメータ空間を持つことは、敵の例に対するニューラルネットワークの脆弱性の主な疑念の1つと考えられている。
従来の研究は、検討されたモデルによっては、敵の例を生成するアルゴリズムが適切に機能しないことを示した。
論文 参考訳（メタデータ） (2024-06-14T14:47:06Z) - On Discprecncies between Perturbation Evaluations of Graph Neural
Network Attributions [49.8110352174327]
我々は、グラフ領域で以前に検討されていない視点から帰属法を評価する:再学習。
中心となる考え方は、属性によって識別される重要な(あるいは重要でない)関係でネットワークを再訓練することである。
我々は4つの最先端GNN属性法と5つの合成および実世界のグラフ分類データセットについて分析を行った。
論文 参考訳（メタデータ） (2024-01-01T02:03:35Z) - On the Robustness of Neural Collapse and the Neural Collapse of Robustness [6.227447957721122]
ニューラル・コラプス(Neural Collapse)は、ニューラルネットワークのトレーニングの終盤において、特徴ベクトルと分類重みが非常に単純な幾何学的配置(単純度)に収束する奇妙な現象を指す。
これらの単純さの安定性について検討し、単純な構造は小さな対角攻撃によって消失することを示した。
我々は、ロバストな機械学習モデルと非ロバストな機械学習モデルの斬新な特性を識別し、以前の階層とは異なり、摂動データに対する信頼性の高い単純化を維持していることを示す。
論文 参考訳（メタデータ） (2023-11-13T16:18:58Z) - Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。
ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。
正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文 参考訳（メタデータ） (2023-08-09T11:09:14Z) - What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。
NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
論文 参考訳（メタデータ） (2022-10-11T16:11:48Z) - Pruning in the Face of Adversaries [0.0]
ニューラルネットワークのプルーニングがL-0,L-2,L-infinity攻撃に対する対向的ロバスト性に及ぼす影響を評価する。
その結果,ニューラルネットワークのプルーニングと対向ロバスト性は相互に排他的ではないことが確認された。
分析を敵のシナリオに付加的な仮定を取り入れた状況にまで拡張し、状況によって異なる戦略が最適であることを示す。
論文 参考訳（メタデータ） (2021-08-19T09:06:16Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Towards Deeper Graph Neural Networks [63.46470695525957]
グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。
いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。
本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
論文 参考訳（メタデータ） (2020-07-18T01:11:14Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。