論文の概要: Performance Heterogeneity in Graph Neural Networks: Lessons for Architecture Design and Preprocessing

• arxiv url: http://arxiv.org/abs/2503.00547v1
• Date: Sat, 01 Mar 2025 16:18:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:17:02.167377
• Title: Performance Heterogeneity in Graph Neural Networks: Lessons for Architecture Design and Preprocessing
• Title（参考訳）: グラフニューラルネットワークにおける性能不均一性:アーキテクチャ設計と前処理の教訓
• Authors: Lukas Fesser, Melanie Weber,
• Abstract要約: グラフニューラルネットワークは、グラフレベルの学習において最もポピュラーなアーキテクチャとして登場した。 優れたパフォーマンスを実現するには、注意深いモデル設計が必要です。 選択的なアプローチを提案する。これは、個々のパフォーマンスがリライトの恩恵を受けるグラフのみを対象としている。
• 参考スコア（独自算出の注目度）: 1.1126342180866644
• License:
• Abstract: Graph Neural Networks have emerged as the most popular architecture for graph-level learning, including graph classification and regression tasks, which frequently arise in areas such as biochemistry and drug discovery. Achieving good performance in practice requires careful model design. Due to gaps in our understanding of the relationship between model and data characteristics, this often requires manual architecture and hyperparameter tuning. This is particularly pronounced in graph-level tasks, due to much higher variation in the input data than in node-level tasks. To work towards closing these gaps, we begin with a systematic analysis of individual performance in graph-level tasks. Our results establish significant performance heterogeneity in both message-passing and transformer-based architectures. We then investigate the interplay of model and data characteristics as drivers of the observed heterogeneity. Our results suggest that graph topology alone cannot explain heterogeneity. Using the Tree Mover's Distance, which jointly evaluates topological and feature information, we establish a link between class-distance ratios and performance heterogeneity in graph classification. These insights motivate model and data preprocessing choices that account for heterogeneity between graphs. We propose a selective rewiring approach, which only targets graphs whose individual performance benefits from rewiring. We further show that the optimal network depth depends on the graph's spectrum, which motivates a heuristic for choosing the number of GNN layers. Our experiments demonstrate the utility of both design choices in practice.
• Abstract（参考訳）: グラフニューラルネットワークは、グラフ分類や回帰タスクを含むグラフレベルの学習の最も一般的なアーキテクチャとして登場し、生化学や薬物発見などの分野で頻繁に発生する。 実際に優れたパフォーマンスを達成するには、慎重なモデル設計が必要です。 モデルとデータ特性の関係に関する理解の欠如のため、手動アーキテクチャとハイパーパラメータチューニングがしばしば必要となる。 これは特に、ノードレベルのタスクよりも入力データの変化が大きいため、グラフレベルのタスクでは顕著である。 これらのギャップを解消するために、グラフレベルのタスクにおける個々のパフォーマンスの体系的な分析から始める。 その結果、メッセージパッシングとトランスフォーマーベースのアーキテクチャの両方において、大きな性能不均一性を確立した。 次に、観測された不均一性の要因としてのモデルとデータ特性の相互作用について検討する。 この結果は、グラフトポロジーだけでは不均一性を説明できないことを示唆している。 トポロジと特徴情報を共同で評価するTree Mover's Distanceを用いて,グラフ分類におけるクラス距離比とパフォーマンスの不均一性の関係を確立する。 これらの洞察は、グラフ間の不均一性を考慮したモデルとデータ前処理の選択を動機付けます。 選択的なリウィリング手法を提案する。これは、個々のパフォーマンスがリウィリングの恩恵を受けるグラフのみを対象としている。 さらに、最適ネットワーク深さは、GNN層数を選択するヒューリスティックな動機となるグラフのスペクトルに依存することを示す。 本実験は, 両設計選択の有効性を実証するものである。

関連論文リスト

• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• TANGNN: a Concise, Scalable and Effective Graph Neural Networks with Top-m Attention Mechanism for Graph Representation Learning [7.879217146851148]
  本稿では,Top-mアテンション機構アグリゲーションコンポーネントと近傍アグリゲーションコンポーネントを統合した,革新的なグラフニューラルネットワーク(GNN)アーキテクチャを提案する。 提案手法の有効性を評価するため,提案手法をGNN分野において未探索の新たな課題である引用感情予測に適用した。
  論文  参考訳（メタデータ） (2024-11-23T05:31:25Z)
• Learning From Graph-Structured Data: Addressing Design Issues and Exploring Practical Applications in Graph Representation Learning [2.492884361833709]
  グラフ表現学習とグラフニューラルネットワーク(GNN)の最近の進歩を概観する。 グラフ構造化データを扱うように設計されたGNNは、複雑な関係情報から洞察と予測を引き出すのに長けている。 我々の研究は、GNNの能力を掘り下げ、その基礎設計と現実の課題に対処するための応用について調べている。
  論文  参考訳（メタデータ） (2024-11-09T19:10:33Z)
• Data Augmentation in Graph Neural Networks: The Role of Generated Synthetic Graphs [0.24999074238880487]
  本研究では,データ拡張のための生成グラフについて検討する。 生成したグラフを実グラフと組み合わせることのパフォーマンスを比較し、生成したグラフの量が異なることがグラフ分類タスクに与える影響を調べる。 その結果,グラフデータの拡張,一貫性のあるラベルの確保,分類性能の向上など,新たなアプローチが導入された。
  論文  参考訳（メタデータ） (2024-07-20T06:05:26Z)
• Towards Relation-centered Pooling and Convolution for Heterogeneous Graph Learning Networks [11.421162988355146]
  不均一グラフニューラルネットワークは,グラフ表現学習において大きな可能性を秘めている。 我々は,PC-HGNという異種グラフ学習ネットワークのための関係中心のPooling and Convolutionを設計し,関係固有サンプリングと相互関係の畳み込みを実現する。 実世界の3つのデータセットにおける最先端グラフ学習モデルとの比較により,提案モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2022-10-31T08:43:32Z)
• Heterogeneous Graph Neural Networks using Self-supervised Reciprocally Contrastive Learning [102.9138736545956]
  不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。 我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。 この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
  論文  参考訳（メタデータ） (2022-04-30T12:57:02Z)
• Explicit Pairwise Factorized Graph Neural Network for Semi-Supervised Node Classification [59.06717774425588]
  本稿では,グラフ全体を部分的に観測されたマルコフ確率場としてモデル化するEPFGNN(Explicit Pairwise Factorized Graph Neural Network)を提案する。 出力-出力関係をモデル化するための明示的なペアワイズ要素を含み、入力-出力関係をモデル化するためにGNNバックボーンを使用する。 本研究では,グラフ上での半教師付きノード分類の性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2021-07-27T19:47:53Z)
• Improving Graph Neural Networks with Simple Architecture Design [7.057970273958933]
  グラフニューラルネットワークの重要な設計戦略をいくつか紹介する。 簡便で浅いモデルである特徴選択グラフニューラルネットワーク(FSGNN)を紹介します。 提案手法は,他のGNNモデルよりも優れており,ノード分類タスクの精度が最大64%向上していることを示す。
  論文  参考訳（メタデータ） (2021-05-17T06:46:01Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
  グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。 標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。 総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-08T19:48:19Z)
• Adaptive Graph Auto-Encoder for General Data Clustering [90.8576971748142]
  グラフベースのクラスタリングは、クラスタリング領域において重要な役割を果たす。 グラフ畳み込みニューラルネットワークに関する最近の研究は、グラフ型データにおいて驚くべき成功を収めている。 本稿では,グラフの生成的視点に応じて適応的にグラフを構成する汎用データクラスタリングのためのグラフ自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2020-02-20T10:11:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。