論文の概要: Unveiling Mode Connectivity in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2502.12608v1
• Date: Tue, 18 Feb 2025 07:46:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:07:55.475459
• Title: Unveiling Mode Connectivity in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおける解離モード接続性
• Authors: Bingheng Li, Zhikai Chen, Haoyu Han, Shenglai Zeng, Jingzhe Liu, Jiliang Tang,
• Abstract要約: 本研究は,グラフニューラルネットワーク(GNN)におけるモード接続性の最初の研究である。 我々は、GNNが完全に接続されたネットワークやCNNで観測されるパターンから逸脱して、非線形な接続性を示すことを明らかにした。 我々は、モード接続性と一般化のリンクを確立し、損失障壁に基づく一般化を提案し、診断ツールとしての有用性を明らかにする。
• 参考スコア（独自算出の注目度）: 30.854487554682628
• License:
• Abstract: A fundamental challenge in understanding graph neural networks (GNNs) lies in characterizing their optimization dynamics and loss landscape geometry, critical for improving interpretability and robustness. While mode connectivity, a lens for analyzing geometric properties of loss landscapes has proven insightful for other deep learning architectures, its implications for GNNs remain unexplored. This work presents the first investigation of mode connectivity in GNNs. We uncover that GNNs exhibit distinct non-linear mode connectivity, diverging from patterns observed in fully-connected networks or CNNs. Crucially, we demonstrate that graph structure, rather than model architecture, dominates this behavior, with graph properties like homophily correlating with mode connectivity patterns. We further establish a link between mode connectivity and generalization, proposing a generalization bound based on loss barriers and revealing its utility as a diagnostic tool. Our findings further bridge theoretical insights with practical implications: they rationalize domain alignment strategies in graph learning and provide a foundation for refining GNN training paradigms.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)を理解する上での根本的な課題は、その最適化のダイナミクスと損失ランドスケープの幾何学を特徴づけることであり、解釈性と堅牢性の向上に不可欠である。 モード接続は、損失景観の幾何学的性質を分析するためのレンズであり、他のディープラーニングアーキテクチャには見識があるが、GNNへの影響は未解明のままである。 本研究は,GNNにおけるモード接続に関する最初の研究である。 我々は、GNNが完全に接続されたネットワークやCNNで観測されるパターンから切り離された、明確な非線形モード接続を示すことを明らかにした。 重要なことは、モデルアーキテクチャよりもグラフ構造が、モデム接続パターンとホモフィリな関係を持つようなグラフ特性で、この挙動を支配していることを示している。 さらに、モード接続性と一般化のリンクを確立し、損失障壁に基づいた一般化を提案し、診断ツールとしての有用性を明らかにする。 グラフ学習におけるドメインアライメント戦略を合理化し,GNNトレーニングパラダイムを洗練するための基盤を提供する。

関連論文リスト

• On the Computational Capability of Graph Neural Networks: A Circuit Complexity Bound Perspective [28.497567290882355]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータに対する学習と推論の標準的なアプローチとなっている。 本稿では,回路複雑性のレンズによるGNNの計算限界について検討する。 具体的には、共通GNNアーキテクチャの回路複雑性を分析し、定数層、線形またはサブ線形埋め込みサイズ、精度の制約の下で、GNNはグラフ接続やグラフ同型といった重要な問題を解くことができないことを証明している。
  論文  参考訳（メタデータ） (2025-01-11T05:54:10Z)
• Hyperbolic Benchmarking Unveils Network Topology-Feature Relationship in GNN Performance [0.5416466085090772]
  グラフ機械学習のための総合的なベンチマークフレームワークを導入する。 我々は,現実的なトポロジ特性とノード特徴ベクトルを持つ合成ネットワークを生成する。 その結果,ネットワーク構造とノード特徴間の相互作用にモデル性能が依存していることが明らかになった。
  論文  参考訳（メタデータ） (2024-06-04T20:40:06Z)
• DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
  グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。 ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。 複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
  論文  参考訳（メタデータ） (2024-01-28T06:43:13Z)
• Resilient Graph Neural Networks: A Coupled Dynamical Systems Approach [12.856220339384269]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフベースのタスクに対処するための重要なコンポーネントとして、自らを確立している。 彼らの顕著な成功にもかかわらず、GNNは相変わらず敵の攻撃の形で摂動を入力できる。 本稿では, 連成力学系のレンズを用いて, 対向摂動に対するGNNの強化手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T20:06:48Z)
• EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks [51.42338058718487]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。 GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。 偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
  論文  参考訳（メタデータ） (2022-05-27T10:48:14Z)
• Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
  グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。 最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。 科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
  論文  参考訳（メタデータ） (2022-05-15T11:38:14Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Hierarchical Message-Passing Graph Neural Networks [12.207978823927386]
  本稿では,新しい階層型メッセージパッシンググラフニューラルネットワークフレームワークを提案する。 鍵となるアイデアは、フラットグラフ内のすべてのノードをマルチレベルなスーパーグラフに再編成する階層構造を生成することである。 階層型コミュニティ対応グラフニューラルネットワーク(HC-GNN)と呼ばれる,このフレームワークを実装した最初のモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-08T13:11:07Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。