Fugu-MT 論文翻訳(概要): Analyzing Neural Network Robustness Using Graph Curvature

論文の概要: Analyzing Neural Network Robustness Using Graph Curvature

arxiv url: http://arxiv.org/abs/2410.19607v1
Date: Fri, 25 Oct 2024 14:59:58 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-28 13:36:04.347457
Title: Analyzing Neural Network Robustness Using Graph Curvature
Title（参考訳）: グラフ曲率を用いたニューラルネットワークのロバスト性解析
Authors: Shuhang Tan, Jayson Sia, Paul Bogdan, Radoslav Ivanov,
Abstract要約: 本稿では,グラフ理論解析の観点から,ニューラルネットワーク(NN)のロバスト性問題に対する新たな考察を示す。我々は、ニューラルネットワークのリッチ曲率の概念を定義し、それをNN出力に"データ転送に頻繁に使用されるボトルネックNNエッジを特定するために使用します。
参考スコア（独自算出の注目度）: 5.156059061769101
License:
Abstract: This paper presents a new look at the neural network (NN) robustness problem, from the point of view of graph theory analysis, specifically graph curvature. Graph curvature (e.g., Ricci curvature) has been used to analyze system dynamics and identify bottlenecks in many domains, including road traffic analysis and internet routing. We define the notion of neural Ricci curvature and use it to identify bottleneck NN edges that are heavily used to ``transport data" to the NN outputs. We provide an evaluation on MNIST that illustrates that such edges indeed occur more frequently for inputs where NNs are less robust. These results will serve as the basis for an alternative method of robust training, by minimizing the number of bottleneck edges.
Abstract（参考訳）: 本稿では,グラフ理論解析,特にグラフ曲率の観点から,ニューラルネットワーク(NN)の堅牢性問題に対する新たな考察を示す。グラフ曲率(例えば、リッチ曲率)は、システムダイナミクスを分析し、道路交通分析やインターネットルーティングを含む多くの領域におけるボトルネックを特定するために使われてきた。我々は、ニューラルネットワークのリッチ曲率の概念を定義し、それを用いて、NN出力への ``transport data' によく使用されるボトルネックNNエッジを特定する。 MNISTの評価は、NNがより堅牢でない入力に対して、そのようなエッジが実際により頻繁に発生することを示す。これらの結果は、ボトルネックエッジの数を最小化することで、ロバストトレーニングの代替手法の基礎となる。

関連論文リスト

Reducing Oversmoothing through Informed Weight Initialization in Graph Neural Networks [16.745718346575202]
本稿では,ノードやグラフの分類タスクにおいて,過度なスムース化を抑える新しいスキーム(G-Init)を提案する。以上の結果から,新しい手法(G-Init)は深部GNNの過剰なスムース化を低減し,その有効利用を促進することが示唆された。
論文参考訳（メタデータ） (2024-10-31T11:21:20Z)
Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
論文参考訳（メタデータ） (2023-10-16T19:54:21Z)
Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文参考訳（メタデータ） (2022-09-23T05:24:18Z)
Parameter Convex Neural Networks [13.42851919291587]
本研究では,ある条件下でのニューラルネットワークのパラメータに関して凸である指数的多層ニューラルネットワーク(EMLP)を提案する。後期実験では,指数グラフ畳み込みネットワーク(EGCN)を同じアーキテクチャで構築し,グラフ分類データセット上で実験を行う。
論文参考訳（メタデータ） (2022-06-11T16:44:59Z)
Understanding over-squashing and bottlenecks on graphs via curvature [17.359098638324546]
オーバースカッシング(Over-squashing)は、$k$ホップの隣人の数が、$k$で急速に増加する現象である。我々は新しいエッジベースの曲率を導入し、負の湾曲したエッジがオーバースカッシングの原因であることを証明した。また,オーバーカッシングを緩和するための曲率に基づく再配線法を提案し,実験的に検証した。
論文参考訳（メタデータ） (2021-11-29T13:27:56Z)
Quantized convolutional neural networks through the lens of partial differential equations [6.88204255655161]
畳み込みニューラルネットワーク(CNN)の量子化は、CNNの展開に伴う計算負担を軽減するための一般的なアプローチである。本研究では、PDEに基づく視点と分析を用いて、量子化されたCNNを改善する方法について検討する。
論文参考訳（メタデータ） (2021-08-31T22:18:52Z)
Stability of Graph Convolutional Neural Networks to Stochastic Perturbations [122.12962842842349]
グラフ畳み込みニューラルネットワーク(GCNN)は、ネットワークデータから表現を学ぶ非線形処理ツールである。現在の分析では決定論的摂動を考慮しているが、トポロジカルな変化がランダムである場合、関連する洞察を与えられない。本稿では,リンク損失に起因する乱れグラフ摂動に対するGCNNの安定性について検討する。
論文参考訳（メタデータ） (2021-06-19T16:25:28Z)
Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文参考訳（メタデータ） (2020-12-10T22:30:25Z)
Implicit Graph Neural Networks [46.0589136729616]
Indicit Graph Neural Networks (IGNN) と呼ばれるグラフ学習フレームワークを提案する。 IGNNは一貫して長距離依存を捉え、最先端のGNNモデルより優れている。
論文参考訳（メタデータ） (2020-09-14T06:04:55Z)
Graph Neural Networks for Motion Planning [108.51253840181677]
低次元問題に対する高密度固定グラフ上のGNNと高次元問題に対するサンプリングベースGNNの2つの手法を提案する。 RRT(Rapidly-Exploring Random Trees)におけるクリティカルノードの特定やサンプリング分布の学習といった計画上の問題にGNNが取り組む能力について検討する。臨界サンプリング、振り子、6つのDoFロボットアームによる実験では、GNNは従来の分析手法の改善だけでなく、完全に接続されたニューラルネットワークや畳み込みニューラルネットワークを用いた学習アプローチも示している。
論文参考訳（メタデータ） (2020-06-11T08:19:06Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。