論文の概要: Online GNN Evaluation Under Test-time Graph Distribution Shifts

• arxiv url: http://arxiv.org/abs/2403.09953v1
• Date: Fri, 15 Mar 2024 01:28:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 20:46:21.396928
• Title: Online GNN Evaluation Under Test-time Graph Distribution Shifts
• Title（参考訳）: テスト時間グラフ配信シフトによるオンラインGNN評価
• Authors: Xin Zheng, Dongjin Song, Qingsong Wen, Bo Du, Shirui Pan,
• Abstract要約: オンラインGNN評価という新たな研究課題は、よく訓練されたGNNが現実世界の未ラベルグラフに一般化する能力について、貴重な洞察を提供することを目的としている。 我々は、よく訓練されたGNNモデルのテスト時間一般化誤差を推定するために、LeBeDと呼ばれる効果的な学習行動不一致スコアを開発する。
• 参考スコア（独自算出の注目度）: 92.4376834462224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating the performance of a well-trained GNN model on real-world graphs is a pivotal step for reliable GNN online deployment and serving. Due to a lack of test node labels and unknown potential training-test graph data distribution shifts, conventional model evaluation encounters limitations in calculating performance metrics (e.g., test error) and measuring graph data-level discrepancies, particularly when the training graph used for developing GNNs remains unobserved during test time. In this paper, we study a new research problem, online GNN evaluation, which aims to provide valuable insights into the well-trained GNNs's ability to effectively generalize to real-world unlabeled graphs under the test-time graph distribution shifts. Concretely, we develop an effective learning behavior discrepancy score, dubbed LeBeD, to estimate the test-time generalization errors of well-trained GNN models. Through a novel GNN re-training strategy with a parameter-free optimality criterion, the proposed LeBeD comprehensively integrates learning behavior discrepancies from both node prediction and structure reconstruction perspectives. This enables the effective evaluation of the well-trained GNNs' ability to capture test node semantics and structural representations, making it an expressive metric for estimating the generalization error in online GNN evaluation. Extensive experiments on real-world test graphs under diverse graph distribution shifts could verify the effectiveness of the proposed method, revealing its strong correlation with ground-truth test errors on various well-trained GNN models.
• Abstract（参考訳）: 実世界のグラフ上でのよく訓練されたGNNモデルの性能評価は、信頼性の高いGNNオンラインデプロイメントとサービスにとって重要なステップである。 テストノードラベルの欠如と、未知のトレーニング-テストグラフデータ分散シフトのため、従来のモデル評価では、パフォーマンスメトリクス(例えば、テストエラー)の計算とグラフデータレベルの不一致(特にGNNの開発に使用されるトレーニンググラフがテスト期間中に観測されない場合)の制限に遭遇する。 本稿では、テスト時間グラフ分散シフトの下で、実世界の未ラベルグラフに効果的に一般化する、よく訓練されたGNNの能力に関する貴重な洞察を提供することを目的とした、オンラインGNN評価という新たな研究課題について検討する。 具体的には、よく訓練されたGNNモデルの試験時間一般化誤差を推定するために、LeBeDと呼ばれる効果的な学習行動差スコアを開発する。 パラメータフリー最適性基準を用いた新しいGNN再学習戦略を通じて,提案手法はノード予測と構造再構成の両方の観点から学習行動の相違を包括的に統合する。 これにより、よく訓練されたGNNがテストノードのセマンティクスと構造表現をキャプチャする能力を効果的に評価することができ、オンラインGNN評価における一般化誤差を推定するための表現的指標となる。 グラフ分布シフトの異なる実世界のテストグラフに対する大規模な実験により, 提案手法の有効性が検証され, 各種GNNモデルにおける地絡テスト誤差との強い相関が明らかとなった。

関連論文リスト

• GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
  グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。 近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。 本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
  論文  参考訳（メタデータ） (2024-01-10T08:37:39Z)
• Accurate and Scalable Estimation of Epistemic Uncertainty for Graph Neural Networks [40.95782849532316]
  固有GNNの不確実性推定を改善するための新しいトレーニングフレームワークを提案する。 我々のフレームワークは、新しいグラフアンカー戦略を通じて、データをグラフデータに中心付けるという原則に適応する。 本研究は,GNNの不確実性推定に関する知見を提供し,信頼度推定におけるG-$Delta$UQの有用性を実証する。
  論文  参考訳（メタデータ） (2024-01-07T00:58:33Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• GNNEvaluator: Evaluating GNN Performance On Unseen Graphs Without Labels [81.93520935479984]
  本稿では,ラベル付きおよび観測されたグラフに基づいて学習した特定のGNNモデルの性能を評価することを目的とした,新しい問題であるGNNモデル評価について検討する。 本稿では,(1) DiscGraph セット構築と(2) GNNEvaluator トレーニングと推論を含む2段階の GNN モデル評価フレームワークを提案する。 DiscGraphセットからの効果的なトレーニング監督の下で、GNNEvaluatorは、評価対象であるGNNモデルのノード分類精度を正確に推定することを学ぶ。
  論文  参考訳（メタデータ） (2023-10-23T05:51:59Z)
• FRGNN: Mitigating the Impact of Distribution Shift on Graph Neural Networks via Test-Time Feature Reconstruction [13.21683198528012]
  分散シフトはグラフニューラルネットワーク(GNN)のテスト性能に悪影響を及ぼす可能性がある 特徴再構成を行うための汎用フレームワークFR-GNNを提案する。 特に、再構成されたノード機能は、よく訓練されたモデルをテストするために直接利用することができる。
  論文  参考訳（メタデータ） (2023-08-18T02:34:37Z)
• Addressing the Impact of Localized Training Data in Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めた。 本稿では,グラフの局所化部分集合に対するGNNのトレーニングの影響を評価することを目的とする。 本稿では,局所化学習データとグラフ推論との分散不一致を最小化する正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T11:04:22Z)
• Stable Prediction on Graphs with Agnostic Distribution Shift [105.12836224149633]
  グラフニューラルネットワーク(GNN)は、ランダムにトレーニングとテストデータを分離した様々なグラフタスクに有効であることが示されている。 しかし、実際のアプリケーションでは、トレーニンググラフの分布はテストグラフとは異なるかもしれない。 本稿では,グラフ上での局所的およびグローバル的に安定な学習と予測を可能にする,GNNのための新しい安定な予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-08T02:45:47Z)
• Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training data [52.771780951404565]
  Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。 SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
  論文  参考訳（メタデータ） (2021-08-02T18:00:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。