論文の概要: Exploring Robustness of Neural Networks through Graph Measures
- arxiv url: http://arxiv.org/abs/2106.15850v1
- Date: Wed, 30 Jun 2021 07:12:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-01 12:37:17.576523
- Title: Exploring Robustness of Neural Networks through Graph Measures
- Title（参考訳）: グラフ測度によるニューラルネットワークのロバスト性探索
- Authors: Asim Waqas (1), Ghulam Rasool (1), Hamza Farooq (2), and Nidhal C.
Bouaynaya (1), ((1) Rowan University, (2) University of Minnesota)
- Abstract要約: グラフ領域における曲率とエントロピーは、これらのANNを訓練することなく、ANNの頑健さを定量化できることを示す。
我々の結果は、脳ネットワーク、金融ネットワーク、ソーシャルネットワークを含む現実世界のネットワークが、堅牢なANNを探索するニューラルネットワークの重要な手がかりとなることを示唆している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Motivated by graph theory, artificial neural networks (ANNs) are
traditionally structured as layers of neurons (nodes), which learn useful
information by the passage of data through interconnections (edges). In the
machine learning realm, graph structures (i.e., neurons and connections) of
ANNs have recently been explored using various graph-theoretic measures linked
to their predictive performance. On the other hand, in network science
(NetSci), certain graph measures including entropy and curvature are known to
provide insight into the robustness and fragility of real-world networks. In
this work, we use these graph measures to explore the robustness of various
ANNs to adversarial attacks. To this end, we (1) explore the design space of
inter-layer and intra-layers connectivity regimes of ANNs in the graph domain
and record their predictive performance after training under different types of
adversarial attacks, (2) use graph representations for both inter-layer and
intra-layers connectivity regimes to calculate various graph-theoretic
measures, including curvature and entropy, and (3) analyze the relationship
between these graph measures and the adversarial performance of ANNs. We show
that curvature and entropy, while operating in the graph domain, can quantify
the robustness of ANNs without having to train these ANNs. Our results suggest
that the real-world networks, including brain networks, financial networks, and
social networks may provide important clues to the neural architecture search
for robust ANNs. We propose a search strategy that efficiently finds robust
ANNs amongst a set of well-performing ANNs without having a need to train all
of these ANNs.
- Abstract（参考訳）: グラフ理論に動機づけられた人工ニューラルネットワーク(ann)は、伝統的にニューロン(ノード)の層として構成され、相互接続(エッジ)を通じてデータの通過によって有用な情報を学習する。
機械学習領域において、ANNのグラフ構造(ニューロンと接続)は、その予測性能に関連する様々なグラフ理論測度を用いて最近研究されている。
一方、ネットワークサイエンス(NetSci)では、エントロピーや曲率などのグラフ測度によって、実世界のネットワークの堅牢性や脆弱性についての洞察が得られることが知られている。
本研究では,これらのグラフを用いて,敵攻撃に対する各種ANNの堅牢性について検討する。
そこで,1) グラフ領域におけるANNの層間接続方式と層間接続方式の設計空間を探索し,異なる種類の敵攻撃によるトレーニング後の予測性能を記録し,(2) 層間接続方式と層間接続方式のグラフ表現を用いて曲率やエントロピーなどのグラフ理論の計算を行い,(3) それらのグラフ測度とANNの敵性能との関係を解析する。
グラフ領域における曲率とエントロピーは、これらのANNを訓練することなく、ANNの頑健さを定量化できることを示す。
以上の結果から,脳ネットワーク,金融ネットワーク,ソーシャルネットワークなど現実世界のネットワークが,強固なアンを探索する上で重要な手がかりとなる可能性が示唆された。
そこで我々は,これらのANNを全て訓練することなく,一組の良好なANNの中から堅牢なANNを効率的に見つける検索戦略を提案する。
関連論文リスト
- Unveiling the Potential of Spiking Dynamics in Graph Representation Learning through Spatial-Temporal Normalization and Coding Strategies [15.037300421748107]
スパイキングニューラルネットワーク(SNN)は、ニューロンのエネルギー効率と事象駆動処理を再現する可能性から、かなりの関心を集めている。
本研究は,グラフ表現学習の強化におけるスパイキングダイナミクスの特質とメリットについて考察する。
スパイキングダイナミクスを取り入れたスパイクに基づくグラフニューラルネットワークモデルを提案し,新しい時空間特徴正規化(STFN)技術により強化した。
論文 参考訳（メタデータ） (2024-07-30T02:53:26Z) - Enhancing Graph Representation Learning with Attention-Driven Spiking Neural Networks [5.627287101959473]
グラフ学習タスクのための従来のニューラルネットワークに代わる有望な代替手段として、スパイキングニューラルネットワーク(SNN)が登場している。
グラフ表現学習を改善するために,注意機構をSNNと統合した新しい手法を提案する。
論文 参考訳（メタデータ） (2024-03-25T12:15:10Z) - Uncertainty in Graph Neural Networks: A Survey [50.63474656037679]
グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで広く使われている。
しかし、多様な情報源から生じるGNNの予測的不確実性は、不安定で誤った予測につながる可能性がある。
本調査は,不確実性の観点からGNNの概要を概観することを目的としている。
論文 参考訳（メタデータ） (2024-03-11T21:54:52Z) - Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。
GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。
以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2023-09-12T09:18:12Z) - Over-Squashing in Graph Neural Networks: A Comprehensive survey [0.0]
この調査は、グラフニューラルネットワーク(GNN)におけるオーバースカッシングの課題を掘り下げるものだ。
オーバースカッシングの原因、結果、緩和戦略を包括的に探求する。
グラフの書き換え、新しい正規化、スペクトル分析、曲率に基づく戦略など、様々な手法がレビューされている。
また、オーバー・スムーシングなど、オーバー・スカッシングと他のGNN制限との相互作用についても論じている。
論文 参考訳（メタデータ） (2023-08-29T18:46:15Z) - INFLECT-DGNN: Influencer Prediction with Dynamic Graph Neural Networks [4.677411878315618]
INFLuencer prEdiCTion with Dynamic Graph Neural Networks (GNN) and Recurrent Neural Networks (RNN)について述べる。
モデル予測に基づく意思決定を支援する,新たな利益主導型フレームワークを提案する。
我々の研究は、参照とターゲットマーケティングの分野に重大な影響を及ぼす。
論文 参考訳（メタデータ） (2023-07-16T19:04:48Z) - BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。
リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。
BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
論文 参考訳（メタデータ） (2021-12-13T17:35:54Z) - Characterizing Learning Dynamics of Deep Neural Networks via Complex
Networks [1.0869257688521987]
複素ネットワーク理論(CNT)は、ディープニューラルネットワーク(DNN)を重み付きグラフとして表現し、それらを動的システムとして研究する。
ノード/ニューロンとレイヤ、すなわちNodes StrengthとLayers Fluctuationのメトリクスを紹介します。
本フレームワークは,学習力学のトレンドを抽出し,高精度ネットワークから低次ネットワークを分離する。
論文 参考訳（メタデータ） (2021-10-06T10:03:32Z) - Graph-Based Neural Network Models with Multiple Self-Supervised
Auxiliary Tasks [79.28094304325116]
グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。
マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
論文 参考訳（メタデータ） (2020-11-14T11:09:51Z) - Graph Structure of Neural Networks [104.33754950606298]
ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。
リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。
トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
論文 参考訳（メタデータ） (2020-07-13T17:59:31Z) - Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph
Link Prediction [69.1473775184952]
数発のアウトオブグラフリンク予測という現実的な問題を導入する。
我々は,新しいメタ学習フレームワークによってこの問題に対処する。
我々は,知識グラフの補完と薬物と薬物の相互作用予測のために,複数のベンチマークデータセット上でモデルを検証した。
論文 参考訳（メタデータ） (2020-06-11T17:42:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。