論文の概要: Analyzing Neural Network Information Flow Using Differential Geometry

• arxiv url: http://arxiv.org/abs/2601.16366v1
• Date: Thu, 22 Jan 2026 23:35:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-26 14:27:27.486408
• Title: Analyzing Neural Network Information Flow Using Differential Geometry
• Title（参考訳）: 微分幾何学を用いたニューラルネットワーク情報流の解析
• Authors: Shuhang Tan, Jayson Sia, Paul Bogdan, Radoslav Ivanov,
• Abstract要約: 我々はOllivier-Ricci曲率(ORC)に基づく神経曲率(NC)の概念を導入する。 提案手法は, 打ち抜き実験により評価し, 負のORCエッジの除去がNN全体の性能を急速に低下させることを示す。
• 参考スコア（独自算出の注目度）: 6.3946318820369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper provides a fresh view of the neural network (NN) data flow problem, i.e., identifying the NN connections that are most important for the performance of the full model, through the lens of graph theory. Understanding the NN data flow provides a tool for symbolic NN analysis, e.g.,~robustness analysis or model repair. Unlike the standard approach to NN data flow analysis, which is based on information theory, we employ the notion of graph curvature, specifically Ollivier-Ricci curvature (ORC). The ORC has been successfully used to identify important graph edges in various domains such as road traffic analysis, biological and social networks. In particular, edges with negative ORC are considered bottlenecks and as such are critical to the graph's overall connectivity, whereas positive-ORC edges are not essential. We use this intuition for the case of NNs as well: we 1)~construct a graph induced by the NN structure and introduce the notion of neural curvature (NC) based on the ORC; 2)~calculate curvatures based on activation patterns for a set of input examples; 3)~aim to demonstrate that NC can indeed be used to rank edges according to their importance for the overall NN functionality. We evaluate our method through pruning experiments and show that removing negative-ORC edges quickly degrades the overall NN performance, whereas positive-ORC edges have little impact. The proposed method is evaluated on a variety of models trained on three image datasets, namely MNIST, CIFAR-10 and CIFAR-100. The results indicate that our method can identify a larger number of unimportant edges as compared to state-of-the-art pruning methods.
• Abstract（参考訳）: 本稿では、ニューラルネットワーク(NN)データフロー問題、すなわち、グラフ理論のレンズを通して、フルモデルの性能において最も重要なNN接続を識別する、新しいビューを提供する。 NNデータフローを理解することは、象徴的なNN分析、例えば、-robustness分析やモデル修復のためのツールを提供する。 情報理論に基づくNNデータフロー解析の標準的な手法とは異なり、我々はグラフ曲率、特にOllivier-Ricci曲率(ORC)の概念を用いる。 ORCは、道路交通分析、生物学的、ソーシャルネットワークなど、様々な領域における重要なグラフエッジの特定に成功している。 特に、負のORCを持つエッジはボトルネックと見なされ、グラフ全体の接続には重要であるが、正のORCエッジは必須ではない。 1) NN構造によって誘導されるグラフを構築し、ORCに基づいて神経曲率(NC)の概念を導入し、2) 入力例の活性化パターンに基づいて曲率を計算し、3) NCがNN機能全体の重要性に応じて実際にエッジのランク付けに利用できることを示す。 その結果, 負のORCエッジの除去はNN全体の性能を低下させるが, 正のORCエッジにはほとんど影響がないことがわかった。 提案手法は,3つの画像データセット(MNIST, CIFAR-10, CIFAR-100)で学習した各種モデルを用いて評価した。 以上の結果から,本手法は最先端の刈り取り法と比較して,重要でないエッジの数がより多いことが示唆された。

関連論文リスト

• Reducing Oversmoothing through Informed Weight Initialization in Graph Neural Networks [16.745718346575202]
  本稿では,ノードやグラフの分類タスクにおいて,過度なスムース化を抑える新しいスキーム(G-Init)を提案する。 以上の結果から,新しい手法(G-Init)は深部GNNの過剰なスムース化を低減し,その有効利用を促進することが示唆された。
  論文  参考訳（メタデータ） (2024-10-31T11:21:20Z)
• Analyzing Neural Network Robustness Using Graph Curvature [5.156059061769101]
  本稿では,グラフ理論解析の観点から,ニューラルネットワーク(NN)のロバスト性問題に対する新たな考察を示す。 我々は、ニューラルネットワークのリッチ曲率の概念を定義し、それをNN出力に"データ転送に頻繁に使用されるボトルネックNNエッジを特定するために使用します。
  論文  参考訳（メタデータ） (2024-10-25T14:59:58Z)
• Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
  グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。 その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。 これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-10-16T19:54:21Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [72.33336385797944]
  本稿では,学習バイアスを軽減するため,ラベルの効率的な正規化手法であるラベルデコンボリューション(LD)を提案する。 LDはOpen Graph Benchmarkデータセット上で最先端の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• When Do We Need Graph Neural Networks for Node Classification? [38.68793097833027]
  グラフニューラルネットワーク(GNN)は基本ニューラルネットワーク(NN)を拡張する 場合によっては、GNNのパフォーマンスは向上せず、グラフに依存しないNNの性能も低くなる。
  論文  参考訳（メタデータ） (2022-10-30T23:10:23Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
  グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。 オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。 本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T15:56:16Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)
• Unifying Graph Convolutional Neural Networks and Label Propagation [73.82013612939507]
  LPAとGCNの関係を特徴・ラベルの平滑化と特徴・ラベルの影響の2点の観点から検討した。 理論解析に基づいて,ノード分類のためのGCNとLCAを統一するエンドツーエンドモデルを提案する。 我々のモデルは、既存の特徴に基づく注目モデルよりもタスク指向のノードラベルに基づく学習注意重みと見なすこともできる。
  論文  参考訳（メタデータ） (2020-02-17T03:23:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。