論文の概要: Energy-based Out-of-Distribution Detection for Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2302.02914v1
- Date: Mon, 6 Feb 2023 16:38:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 16:02:38.913571
- Title: Energy-based Out-of-Distribution Detection for Graph Neural Networks
- Title（参考訳）: グラフニューラルネットワークのためのエネルギーベース分布外検出
- Authors: Qitian Wu, Yiting Chen, Chenxiao Yang, Junchi Yan
- Abstract要約: 我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
- 参考スコア（独自算出の注目度）: 76.0242218180483
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning on graphs, where instance nodes are inter-connected, has become one
of the central problems for deep learning, as relational structures are
pervasive and induce data inter-dependence which hinders trivial adaptation of
existing approaches that assume inputs to be i.i.d.~sampled. However, current
models mostly focus on improving testing performance of in-distribution data
and largely ignore the potential risk w.r.t. out-of-distribution (OOD) testing
samples that may cause negative outcome if the prediction is overconfident on
them. In this paper, we investigate the under-explored problem, OOD detection
on graph-structured data, and identify a provably effective OOD discriminator
based on an energy function directly extracted from graph neural networks
trained with standard classification loss. This paves a way for a simple,
powerful and efficient OOD detection model for GNN-based learning on graphs,
which we call GNNSafe. It also has nice theoretical properties that guarantee
an overall distinguishable margin between the detection scores for
in-distribution and OOD samples, which, more critically, can be further
strengthened by a learning-free energy belief propagation scheme. For
comprehensive evaluation, we introduce new benchmark settings that evaluate the
model for detecting OOD data from both synthetic and real distribution shifts
(cross-domain graph shifts and temporal graph shifts). The results show that
GNNSafe achieves up to $17.0\%$ AUROC improvement over state-of-the-arts and it
could serve as simple yet strong baselines in such an under-developed area.
- Abstract（参考訳）: インスタンスノードが相互接続されるグラフ上での学習は、関係構造が広範に普及し、入力をi.d.-sampledと仮定する既存のアプローチの自明な適応を妨げるデータ相互依存を誘導するため、ディープラーニングの重要な問題の一つとなっている。
しかしながら、現在のモデルは、主に分布内データのテスト性能の改善に重点を置いており、予測が過度に信頼された場合、負の結果をもたらす可能性のあるOOD(out-of-distriion)テストサンプルの潜在的なリスクを無視している。
本稿では, グラフ構造データを用いたOOD検出の未探索問題について検討し, 標準分類損失を学習したグラフニューラルネットワークから直接抽出したエネルギー関数に基づいて, 有効なOOD判別器を同定する。
これにより、GNNSafeと呼ばれるグラフ上の学習のための、シンプルで強力で効率的なOOD検出モデルを構築することができる。
また、分布内検出スコアとOODサンプルの総合的に区別可能なマージンを保証できる優れた理論的特性を有しており、より重要なことは、学習自由エネルギー信念伝播スキームによってさらに強化することができる。
包括的評価のために,合成および実分布シフト(クロスドメイングラフシフトと時間グラフシフト)からoodデータを検出するモデルを評価する新しいベンチマーク設定を導入する。
その結果、GNNSafeは最先端技術よりも17.0 %$ AUROCの改善を達成し、未開発の領域では単純だが強力なベースラインとして機能することを示した。
関連論文リスト
- HGOE: Hybrid External and Internal Graph Outlier Exposure for Graph Out-of-Distribution Detection [78.47008997035158]
グラフデータはより多様性を示すが、摂動に対する堅牢性は低く、外れ値の統合を複雑にする。
我々は、グラフOOD検出性能を改善するために、textbfHybrid外部および内部の textbfGraph textbfOutlier textbfExposure (HGOE) の導入を提案する。
論文 参考訳（メタデータ） (2024-07-31T16:55:18Z) - Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。
本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。
本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
論文 参考訳（メタデータ） (2024-02-18T07:49:22Z) - GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。
近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。
本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
論文 参考訳（メタデータ） (2024-01-10T08:37:39Z) - LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳（メタデータ） (2023-03-24T13:49:05Z) - GOOD-D: On Unsupervised Graph Out-Of-Distribution Detection [67.90365841083951]
我々は,OODグラフを検出するための新しいグラフコントラスト学習フレームワークGOOD-Dを開発した。
GOOD-Dは、潜在IDパターンをキャプチャし、異なる粒度のセマンティック不整合に基づいてOODグラフを正確に検出することができる。
教師なしグラフレベルのOOD検出における先駆的な研究として,提案手法と最先端手法を比較した総合的なベンチマークを構築した。
論文 参考訳（メタデータ） (2022-11-08T12:41:58Z) - Handling Distribution Shifts on Graphs: An Invariance Perspective [78.31180235269035]
我々は、グラフ上のOOD問題を定式化し、新しい不変学習手法である探索・拡張リスク最小化(EERM)を開発する。
EERMは、複数の仮想環境からのリスクの分散を最大化するために、敵対的に訓練された複数のコンテキストエクスプローラーを利用する。
理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2022-02-05T02:31:01Z) - Uncertainty Aware Semi-Supervised Learning on Graph Data [18.695343563823798]
ノード分類予測のためのグラフニューラルネットワーク(GNN)を用いたマルチソース不確実性フレームワークを提案する。
トレーニングノードのラベルからエビデンスを収集することにより、ノードレベルのディリクレ分布を正確に予測するグラフベースのカーネルディリクレ分布推定(GKDE)法が設計されている。
その結果,不協和性検出は誤分類検出において最良であり,空洞性検出はOOD検出において最良であることがわかった。
論文 参考訳（メタデータ） (2020-10-24T04:56:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。