論文の概要: The Effectiveness of Curvature-Based Rewiring and the Role of Hyperparameters in GNNs Revisited

• arxiv url: http://arxiv.org/abs/2407.09381v1
• Date: Fri, 12 Jul 2024 16:03:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-15 22:48:56.074029
• Title: The Effectiveness of Curvature-Based Rewiring and the Role of Hyperparameters in GNNs Revisited
• Title（参考訳）: GNN再検討における曲率ベーススイッチングの有効性とハイパーパラメーターの役割
• Authors: Floriano Tori, Vincent Holst, Vincent Ginis,
• Abstract要約: グラフニューラルネットワーク(GNN)におけるメッセージパッシングは支配的なパラダイムである 近年、データと計算グラフから入力グラフを切断し、メッセージパッシングを行うグラフリウィリング技術に力を入れている。 オーバーシャッシングは合成データセットで実証されているが、この研究では、曲率ベースのリワイアリングが現実のデータセットにもたらすパフォーマンス向上を再評価する。
• 参考スコア（独自算出の注目度）: 0.7373617024876725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Message passing is the dominant paradigm in Graph Neural Networks (GNNs). The efficiency of message passing, however, can be limited by the topology of the graph. This happens when information is lost during propagation due to being oversquashed when travelling through bottlenecks. To remedy this, recent efforts have focused on graph rewiring techniques, which disconnect the input graph originating from the data and the computational graph, on which message passing is performed. A prominent approach for this is to use discrete graph curvature measures, of which several variants have been proposed, to identify and rewire around bottlenecks, facilitating information propagation. While oversquashing has been demonstrated in synthetic datasets, in this work we reevaluate the performance gains that curvature-based rewiring brings to real-world datasets. We show that in these datasets, edges selected during the rewiring process are not in line with theoretical criteria identifying bottlenecks. This implies they do not necessarily oversquash information during message passing. Subsequently, we demonstrate that SOTA accuracies on these datasets are outliers originating from sweeps of hyperparameters -- both the ones for training and dedicated ones related to the rewiring algorithm -- instead of consistent performance gains. In conclusion, our analysis nuances the effectiveness of curvature-based rewiring in real-world datasets and brings a new perspective on the methods to evaluate GNN accuracy improvements.
• Abstract（参考訳）: メッセージパッシングはグラフニューラルネットワーク(GNN)において支配的なパラダイムである。 しかし、メッセージパッシングの効率はグラフのトポロジーによって制限することができる。 これは、ボトルネックを通過するときに過度に見過ごされるため、伝搬中に情報が失われる場合に発生する。 これを解決するため、近年の取り組みでは、データと計算グラフから入力グラフを切断し、メッセージパッシングを行うグラフリウィリング技術に重点を置いている。 これに対する顕著なアプローチは、いくつかの変種が提案されている離散グラフ曲率測定を使用してボトルネックを特定し、修正し、情報伝達を容易にすることである。 オーバーシャッシングは合成データセットで実証されているが、この研究では、曲率ベースのリワイアリングが現実のデータセットにもたらすパフォーマンス向上を再評価する。 これらのデータセットでは、リワイアプロセスで選択されたエッジがボトルネックを特定する理論的基準と一致していないことを示す。 これは、メッセージパッシング中に必ずしも情報をオーバーキャッシュしないことを意味する。 次に、これらのデータセットに対するSOTAの精度は、一貫したパフォーマンス向上ではなく、ハイパーパラメータ(トレーニング用とリスイッチアルゴリズムに関連する専用の両方)のスイープから生じるアウトリーであることが実証された。 結論として、実世界のデータセットにおける曲率に基づく再配線の有効性を解析し、GNNの精度向上を評価する方法に新たな視点をもたらす。

関連論文リスト

• Rewiring Techniques to Mitigate Oversquashing and Oversmoothing in GNNs: A Survey [0.0]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データから学習するための強力なツールだが,その有効性は2つの重要な課題によって制約されることが多い。 オーバーキャッシング(Oversquashing) – 遠いノードからの情報の過剰な圧縮が大きな情報損失と過度なスムース化をもたらし、繰り返しメッセージパッシングの繰り返しがノード表現を均質化し、意味のある区別を隠蔽する。 本研究では,グラフトポロジを改良して情報拡散を高めることで,これらの構造的ボトルネックに対処する手法であるグラフリウィリング手法について検討する。
  論文  参考訳（メタデータ） (2024-11-26T13:38:12Z)
• Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
  本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。 この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
  論文  参考訳（メタデータ） (2024-02-13T14:13:17Z)
• GraphGuard: Detecting and Counteracting Training Data Misuse in Graph Neural Networks [69.97213941893351]
  グラフデータ分析におけるグラフニューラルネットワーク(GNN)の出現は、モデルトレーニング中のデータ誤用に関する重要な懸念を引き起こしている。 既存の手法は、データ誤用検出または緩和のいずれかに対応しており、主にローカルGNNモデル用に設計されている。 本稿では,これらの課題に対処するため,GraphGuardという先駆的なアプローチを導入する。
  論文  参考訳（メタデータ） (2023-12-13T02:59:37Z)
• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• Mitigating Over-Smoothing and Over-Squashing using Augmentations of Forman-Ricci Curvature [1.1126342180866644]
  スケーラブルな曲率表記法であるAFRC(Augmented Forman-Ricci curvature)に基づく書き換え手法を提案する。 AFRCはメッセージパッシングGNNにおける過剰なスムースと過剰なスキャッシング効果を効果的に特徴付ける。
  論文  参考訳（メタデータ） (2023-09-17T21:43:18Z)
• CONVERT:Contrastive Graph Clustering with Reliable Augmentation [110.46658439733106]
  信頼性オーグメンテーション(CONVERT)を用いたContrastiVe Graph ClustEringネットワークを提案する。 本手法では,データ拡張を可逆的パーターブ・リカバリネットワークにより処理する。 セマンティクスの信頼性をさらに保証するために、ネットワークを制約する新たなセマンティクス損失が提示される。
  論文  参考訳（メタデータ） (2023-08-17T13:07:09Z)
• Understanding over-squashing and bottlenecks on graphs via curvature [17.359098638324546]
  オーバースカッシング(Over-squashing)は、$k$ホップの隣人の数が、$k$で急速に増加する現象である。 我々は新しいエッジベースの曲率を導入し、負の湾曲したエッジがオーバースカッシングの原因であることを証明した。 また,オーバーカッシングを緩和するための曲率に基づく再配線法を提案し,実験的に検証した。
  論文  参考訳（メタデータ） (2021-11-29T13:27:56Z)
• A Graph Data Augmentation Strategy with Entropy Preserving [11.886325179121226]
  本稿では,グラフ間の特徴情報を評価するための定量的指標として,新しいグラフエントロピー定義を提案する。 グラフエントロピーの保存を考慮し、摂動機構を用いてトレーニングデータを生成する効果的な方法を提案する。 提案手法はトレーニング過程におけるGCNの堅牢性と一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-07-13T12:58:32Z)
• Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping [116.26579152942162]
  グラフニューラルネットワーク(GNN)は、グラフ構造情報を利用してネットワークデータから表現をモデル化する処理アーキテクチャである。 彼らの成功にもかかわらず、GNNは限られた訓練データから得られる準最適一般化性能に悩まされている。 本稿では、一般化性能を改善し、堅牢なGNNモデルを学習するためのトポロジ適応エッジドロップ法を提案する。
  論文  参考訳（メタデータ） (2021-06-05T13:20:36Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。