論文の概要: Exploring Graph-Transformer Out-of-Distribution Generalization Abilities

• arxiv url: http://arxiv.org/abs/2506.20575v1
• Date: Wed, 25 Jun 2025 16:09:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.837506
• Title: Exploring Graph-Transformer Out-of-Distribution Generalization Abilities
• Title（参考訳）: グラフ変換器のアウト・オブ・ディストリビューション一般化能力の探索
• Authors: Itay Niv, Neta Rabin,
• Abstract要約: グラフトランスフォーマー(GT)バックボーンは、最近、複数の分散ベンチマークで従来のメッセージパッシングニューラルネットワーク(MPNN)を上回っている。 GTとハイブリッドGT-MPNNのバックボーンはMPNNと比較してより強力な一般化能力を示す。 また、ID全体のクラスタリング構造とOODテストデータセットを比較した、新しい学習後分析手法を提案する。
• 参考スコア（独自算出の注目度）: 3.4990427823966828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning on graphs has shown remarkable success across numerous applications, including social networks, bio-physics, traffic networks, and recommendation systems. Regardless of their successes, current methods frequently depend on the assumption that training and testing data share the same distribution, a condition rarely met in real-world scenarios. While graph-transformer (GT) backbones have recently outperformed traditional message-passing neural networks (MPNNs) in multiple in-distribution (ID) benchmarks, their effectiveness under distribution shifts remains largely unexplored. In this work, we address the challenge of out-of-distribution (OOD) generalization for graph neural networks, with a special focus on the impact of backbone architecture. We systematically evaluate GT and hybrid backbones in OOD settings and compare them to MPNNs. To do so, we adapt several leading domain generalization (DG) algorithms to work with GTs and assess their performance on a benchmark designed to test a variety of distribution shifts. Our results reveal that GT and hybrid GT-MPNN backbones consistently demonstrate stronger generalization ability compared to MPNNs, even without specialized DG algorithms. Additionally, we propose a novel post-training analysis approach that compares the clustering structure of the entire ID and OOD test datasets, specifically examining domain alignment and class separation. Demonstrating its model-agnostic design, this approach not only provided meaningful insights into GT and MPNN backbones. It also shows promise for broader applicability to DG problems beyond graph learning, offering a deeper perspective on generalization abilities that goes beyond standard accuracy metrics. Together, our findings highlight the promise of graph-transformers for robust, real-world graph learning and set a new direction for future research in OOD generalization.
• Abstract（参考訳）: グラフの深層学習は、ソーシャルネットワーク、生物物理学、交通ネットワーク、レコメンデーションシステムなど、多くのアプリケーションで顕著な成功を収めている。 彼らの成功にかかわらず、現在の手法は、トレーニングとテストデータが同じ分布を共有しているという仮定に依存することが多い。 グラフトランスフォーマー(GT)バックボーンは、最近、複数のID(In-distribution)ベンチマークで従来のメッセージパッシングニューラルネットワーク(MPNN)よりも優れていますが、その分散シフトによる効果はほとんど解明されていません。 本研究では,グラフニューラルネットワークにおけるアウト・オブ・ディストリビューション(OOD)の一般化の課題に対処する。 我々は,OOD設定におけるGTとハイブリッドバックボーンを系統的に評価し,MPNNと比較した。 そこで本研究では,GTの処理にいくつかの主要な領域一般化(DG)アルゴリズムを適用し,様々な分散シフトをテストするために設計されたベンチマークでそれらの性能を評価する。 GTとハイブリッドGT-MPNNのバックボーンは,特殊なDGアルゴリズムを使わずとも,MPNNと比較してより強力な一般化能力を示した。 さらに,IDとOODテストデータセット全体のクラスタリング構造を比較し,ドメインアライメントとクラス分離について検討する。 モデルに依存しない設計を実証するため、このアプローチはGTとMPNNのバックボーンに意味のある洞察を与えた。 また、グラフ学習以上のDG問題に適用可能であることを約束し、標準的な精度の指標を超えた一般化能力についてより深い視点を提供する。 そこで本研究では,グラフ変換器による実世界のグラフ学習の実現と,OODの一般化に向けた新たな研究の方向性について述べる。

関連論文リスト

• G-OSR: A Comprehensive Benchmark for Graph Open-Set Recognition [54.45837774534411]
  ノードレベルとグラフレベルの両方でグラフオープンセット認識(GOSR)手法を評価するベンチマークである textbfG-OSR を導入する。 結果は、現在のGOSR手法の一般化可能性と限界に関する重要な洞察を与える。
  論文  参考訳（メタデータ） (2025-03-01T13:02:47Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• Investigating Out-of-Distribution Generalization of GNNs: An Architecture Perspective [45.352741792795186]
  グラフ自己アテンション機構と疎結合アーキテクチャはグラフOOD一般化に肯定的に寄与することを示す。 我々は,グラフ自己保持機構と疎結合アーキテクチャの両方の堅牢性を活用するために,新しいGNNバックボーンモデルDGATを開発した。
  論文  参考訳（メタデータ） (2024-02-13T05:38:45Z)
• GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
  グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。 近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。 本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
  論文  参考訳（メタデータ） (2024-01-10T08:37:39Z)
• Rethinking the Power of Graph Canonization in Graph Representation Learning with Stability [29.026197379375557]
  本稿では,グラフカノン化によるGNNの表現率の最大化を提案する。 安定なGNNは、類似グラフをベクトル空間の閉グラフ表現にマッピングし、GNNの安定性は、その性能を目に見えないグラフに一般化することが重要である。 実験の総合的なセットは,提案手法の有効性を示すものである。
  論文  参考訳（メタデータ） (2023-09-01T21:23:04Z)
• Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
  グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。 最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Towards Better Generalization with Flexible Representation of Multi-Module Graph Neural Networks [0.27195102129094995]
  ランダムグラフ生成器を用いて,グラフサイズと構造特性がGNNの予測性能に与える影響について検討する。 本稿では,GNNが未知のグラフに一般化できるかどうかを決定する上で,平均ノード次数が重要な特徴であることを示す。 集約された入力に対して単一の正準非線形変換を一般化することにより、ネットワークが新しいグラフに柔軟に対応可能なマルチモジュールGNNフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-14T12:13:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。