論文の概要: Convexified Message-Passing Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2505.18289v1
- Date: Fri, 23 May 2025 18:33:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:42.327077
- Title: Convexified Message-Passing Graph Neural Networks
- Title(参考訳): Convexified Message-Passing Graph Neural Networks
- Authors: Saar Cohen, Noa Agmon, Uri Shaham,
- Abstract要約: CGNN(Convexified Message Passing Graph Neural Networks)を導入する。
非線形ヒルベルトカーネルトレーニングを凸最適化問題にマッピングすることにより、CGNNは凸最適化問題に変換する。
実験ベンチマークデータセットは、CGNNが主要なGNNモデルの性能を大幅に上回っていることを示している。
- 参考スコア(独自算出の注目度): 12.350115354262947
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Neural Networks (GNNs) have become prominent methods for graph representation learning, demonstrating strong empirical results on diverse graph prediction tasks. In this paper, we introduce Convexified Message Passing Graph Neural Networks (CGNNs), a novel and general framework that combines the power of message-passing GNNs with the tractability of convex optimization. By mapping their nonlinear filters into a reproducing kernel Hilbert space, CGNNs transform training into a convex optimization problem, which can be solved efficiently and optimally by projected gradient methods. This convexity further allows the statistical properties of CGNNs to be analyzed accurately and rigorously. For two-layer CGNNs, we establish rigorous generalization guarantees, showing convergence to the performance of the optimal GNN. To scale to deeper architectures, we adopt a principled layer-wise training strategy. Experiments on benchmark datasets show that CGNNs significantly exceed the performance of leading GNN models, achieving 10 to 40 percent higher accuracy in most cases, underscoring their promise as a powerful and principled method with strong theoretical foundations. In rare cases where improvements are not quantitatively substantial, the convex models either slightly exceed or match the baselines, stressing their robustness and wide applicability. Though over-parameterization is often employed to enhance performance in nonconvex models, we show that our CGNNs framework yields shallow convex models that can surpass these models in both accuracy and resource efficiency.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、グラフ表現学習において顕著な手法となり、多様なグラフ予測タスクにおいて強力な経験的結果を示す。
本稿では,メッセージパッシングGNNのパワーと凸最適化のトラクタビリティを組み合わせた,新しい汎用フレームワークであるConvexified Message Passing Graph Neural Networks (CGNNs)を紹介する。
非線形フィルタを再現されたカーネルヒルベルト空間にマッピングすることにより、CGNNはトレーニングを凸最適化問題に変換する。
この凸性により、CGNNの統計特性を正確かつ厳密に分析することができる。
2層CGNNに対して、最適GNNの性能に収束した厳密な一般化保証を確立する。
より深いアーキテクチャにスケールするために、私たちは原則化されたレイヤレベルのトレーニング戦略を採用しています。
ベンチマークデータセットの実験では、CGNNは主要なGNNモデルの性能を大幅に上回り、ほとんどの場合10~40%の精度を達成し、強力な理論基盤を持つ強力で原則化された方法としての彼らの約束を裏付けている。
改善が定量的に重要でない稀なケースでは、凸モデルはベースラインをわずかに超えるか一致し、その堅牢性と広範囲な適用性を強調している。
オーバーパラメトリゼーションは非凸モデルの性能を高めるためにしばしば用いられるが、我々のCGNNフレームワークはこれらのモデルを精度と資源効率の両方で上回るような浅い凸モデルを生成する。
関連論文リスト
- Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。
既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。
本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文 参考訳(メタデータ) (2023-12-19T12:25:10Z) - Global Minima, Recoverability Thresholds, and Higher-Order Structure in
GNNS [0.0]
ランダムグラフ理論の観点から,グラフニューラルネットワーク(GNN)アーキテクチャの性能を解析する。
合成データにおける特定の高次構造と実データにおける経験的構造の混合が、GNNの性能に劇的な影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2023-10-11T17:16:33Z) - Graph Ladling: Shockingly Simple Parallel GNN Training without
Intermediate Communication [100.51884192970499]
GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。
GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。
本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
論文 参考訳(メタデータ) (2023-06-18T03:33:46Z) - GNN at the Edge: Cost-Efficient Graph Neural Network Processing over
Distributed Edge Servers [24.109721494781592]
グラフニューラルネットワーク(GNN)はまだ探索中であり、その広範な採用に対する大きな違いを示している。
本稿では,多層ヘテロジニアスエッジネットワーク上での分散GNN処理のコスト最適化について検討する。
提案手法は, 高速収束速度で95.8%以上のコスト削減を行い, デファクトベースラインよりも優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2022-10-31T13:03:16Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳(メタデータ) (2022-07-18T14:23:31Z) - Towards Understanding Graph Neural Networks: An Algorithm Unrolling
Perspective [9.426760895586428]
本稿では,グラフ信号の復号化問題に対して,truncated Optimizationアルゴリズムに基づいて構築されたアンロールネットワークのクラスを紹介する。
GNNモデルのトレーニングプロセスは、低レベルのGSD問題による二段階最適化問題の解決と見なすことができる。
UGDGNNという表現モデル、すなわち、非線形勾配勾配GNNは、魅力的な理論的性質を継承する。
論文 参考訳(メタデータ) (2022-06-09T12:54:03Z) - EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural
Networks [51.42338058718487]
グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。
GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。
偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
論文 参考訳(メタデータ) (2022-05-27T10:48:14Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳(メタデータ) (2021-12-08T20:23:58Z) - Optimization of Graph Neural Networks: Implicit Acceleration by Skip
Connections and More Depth [57.10183643449905]
グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。
GNNのダイナミクスを深部スキップ最適化により研究する。
本研究は,GNNの成功に対する最初の理論的支援を提供する。
論文 参考訳(メタデータ) (2021-05-10T17:59:01Z) - Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。
PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。
PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
論文 参考訳(メタデータ) (2020-11-13T18:53:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。