論文の概要: Visualization and Analysis of the Loss Landscape in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2509.11792v1
• Date: Mon, 15 Sep 2025 11:22:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:23.247596
• Title: Visualization and Analysis of the Loss Landscape in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおける損失景観の可視化と解析
• Authors: Samir Moustafa, Lorenz Kummer, Simon Fetzel, Nils M. Kriege, Wilfried N. Gansterer,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力なモデルであり、幅広い応用がある。 本稿では,GNNの損失景観を可視化する,効率的な学習可能な次元削減手法を提案する。 オーバースムーシング,ジャンプ知識,量子化,スパーシフィケーション,プレコンディショナーGNN最適化の効果を解析する。
• 参考スコア（独自算出の注目度）: 8.389368477330612
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) are powerful models for graph-structured data, with broad applications. However, the interplay between GNN parameter optimization, expressivity, and generalization remains poorly understood. We address this by introducing an efficient learnable dimensionality reduction method for visualizing GNN loss landscapes, and by analyzing the effects of over-smoothing, jumping knowledge, quantization, sparsification, and preconditioner on GNN optimization. Our learnable projection method surpasses the state-of-the-art PCA-based approach, enabling accurate reconstruction of high-dimensional parameters with lower memory usage. We further show that architecture, sparsification, and optimizer's preconditioning significantly impact the GNN optimization landscape and their training process and final prediction performance. These insights contribute to developing more efficient designs of GNN architectures and training strategies.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力なモデルであり、幅広い応用がある。 しかし, GNNパラメータの最適化, 表現性, 一般化の相互作用はよく理解されていない。 我々は,GNNの損失景観を可視化する,効率的な学習可能な次元削減手法を導入し,GNN最適化における過度なスムーシング,ジャンプ知識,量子化,スパーシフィケーション,プレコンディショナーの影響を分析することにより,この問題に対処する。 学習可能なプロジェクション法は,PCAに基づく最新の手法を超越し,メモリ使用率の低い高次元パラメータの正確な再構成を可能にする。 さらに、アーキテクチャ、スパーシフィケーション、オプティマイザのプリコンディショニングが、GNN最適化のランドスケープとそのトレーニングプロセスおよび最終的な予測性能に大きな影響を及ぼすことを示す。 これらの知見は、GNNアーキテクチャやトレーニング戦略のより効率的な設計に寄与する。

関連論文リスト

• Convexified Message-Passing Graph Neural Networks [12.350115354262947]
  CGNN(Convexified Message Passing Graph Neural Networks)を導入する。 非線形ヒルベルトカーネルトレーニングを凸最適化問題にマッピングすることにより、CGNNは凸最適化問題に変換する。 実験ベンチマークデータセットは、CGNNが主要なGNNモデルの性能を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-23T18:33:01Z)
• TANGNN: a Concise, Scalable and Effective Graph Neural Networks with Top-m Attention Mechanism for Graph Representation Learning [7.879217146851148]
  本稿では,Top-mアテンション機構アグリゲーションコンポーネントと近傍アグリゲーションコンポーネントを統合した,革新的なグラフニューラルネットワーク(GNN)アーキテクチャを提案する。 提案手法の有効性を評価するため,提案手法をGNN分野において未探索の新たな課題である引用感情予測に適用した。
  論文  参考訳（メタデータ） (2024-11-23T05:31:25Z)
• Dynamic Graph Unlearning: A General and Efficient Post-Processing Method via Gradient Transformation [24.20087360102464]
  動的グラフアンラーニングを初めて研究し、DGNNアンラーニングを実装するための効率的で効率的で汎用的で後処理手法を提案する。 提案手法は,将来的な未学習要求を処理できる可能性があり,性能が大幅に向上する。
  論文  参考訳（メタデータ） (2024-05-23T10:26:18Z)
• Learning How to Propagate Messages in Graph Neural Networks [55.2083896686782]
  本稿では,グラフニューラルネットワーク(GNN)におけるメッセージ伝搬戦略の学習問題について検討する。 本稿では,GNNパラメータの最大類似度推定を支援するために,最適伝搬ステップを潜時変数として導入する。 提案フレームワークは,GNNにおけるメッセージのパーソナライズおよび解釈可能な伝達戦略を効果的に学習することができる。
  論文  参考訳（メタデータ） (2023-10-01T15:09:59Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• GNN at the Edge: Cost-Efficient Graph Neural Network Processing over Distributed Edge Servers [24.109721494781592]
  グラフニューラルネットワーク(GNN)はまだ探索中であり、その広範な採用に対する大きな違いを示している。 本稿では,多層ヘテロジニアスエッジネットワーク上での分散GNN処理のコスト最適化について検討する。 提案手法は, 高速収束速度で95.8%以上のコスト削減を行い, デファクトベースラインよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-31T13:03:16Z)
• EEGNN: Edge Enhanced Graph Neural Networks [1.0246596695310175]
  そこで本研究では,このような劣化した性能現象の新たな説明法を提案する。 このような単純化は、グラフの構造情報を取得するためにメッセージパッシング層の可能性を減らすことができることを示す。 EEGNNは、提案したディリクレ混合ポアソングラフモデルから抽出した構造情報を用いて、様々なディープメッセージパスGNNの性能を向上させる。
  論文  参考訳（メタデータ） (2022-08-12T15:24:55Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks [59.692017490560275]
  敵の訓練は、敵の攻撃に対するモデルの堅牢性を改善するために広く実証されてきた。 グラフ解析問題におけるGNNの一般化能力をどのように改善するかは、まだ不明である。 我々は、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴の損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-10-28T02:28:13Z)
• Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping [116.26579152942162]
  グラフニューラルネットワーク(GNN)は、グラフ構造情報を利用してネットワークデータから表現をモデル化する処理アーキテクチャである。 彼らの成功にもかかわらず、GNNは限られた訓練データから得られる準最適一般化性能に悩まされている。 本稿では、一般化性能を改善し、堅牢なGNNモデルを学習するためのトポロジ適応エッジドロップ法を提案する。
  論文  参考訳（メタデータ） (2021-06-05T13:20:36Z)
• Visualizing High-Dimensional Trajectories on the Loss-Landscape of ANNs [15.689418447376587]
  ニューラルネットワークを訓練するには、高度に非次元的な損失関数の最適化が必要である。 可視化ツールは、ANNの損失ランドスケープの鍵となる幾何学的特徴を明らかにする上で重要な役割を果たしてきた。 局所構造と大域構造の両方でSOTAを表すモダニティ低減手法を提案する。
  論文  参考訳（メタデータ） (2021-01-31T16:30:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。