論文の概要: GOOD: A Graph Out-of-Distribution Benchmark
- arxiv url: http://arxiv.org/abs/2206.08452v1
- Date: Thu, 16 Jun 2022 21:16:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-20 13:00:32.970424
- Title: GOOD: A Graph Out-of-Distribution Benchmark
- Title(参考訳): GOOD: 分散ベンチマークのグラフ
- Authors: Shurui Gui, Xiner Li, Limei Wang, Shuiwang Ji
- Abstract要約: アウト・オブ・ディストリビューション(OOD)学習は、トレーニングとテストデータが異なる分布に従うシナリオを扱う。
GOODベンチマークは成長するプロジェクトであり、地域が発展するにつれて、量と多種多様なリソースを拡大することを期待している。
- 参考スコア(独自算出の注目度): 36.388390372376364
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-distribution (OOD) learning deals with scenarios in which training and
test data follow different distributions. Although general OOD problems have
been intensively studied in machine learning, graph OOD is only an emerging
area of research. Currently, there lacks a systematic benchmark tailored to
graph OOD method evaluation. In this work, we aim at developing an OOD
benchmark, known as GOOD, for graphs specifically. We explicitly make
distinctions between covariate and concept shifts and design data splits that
accurately reflect different shifts. We consider both graph and node prediction
tasks as there are key differences when designing shifts. Overall, GOOD
contains 8 datasets with 14 domain selections. When combined with covariate,
concept, and no shifts, we obtain 42 different splits. We provide performance
results on 7 commonly used baseline methods with 10 random runs. This results
in 294 dataset-model combinations in total. Our results show significant
performance gaps between in-distribution and OOD settings. Our results also
shed light on different performance trends between covariate and concept shifts
by different methods. Our GOOD benchmark is a growing project and expects to
expand in both quantity and variety of resources as the area develops. The GOOD
benchmark can be accessed via
$\href{https://github.com/divelab/GOOD/}{\text{https://github.com/divelab/GOOD/}}$.
- Abstract(参考訳): out-of-distribution(ood)学習は、トレーニングとテストデータが異なる分布に従うシナリオを扱う。
一般のOOD問題は機械学習において集中的に研究されているが、グラフOODは研究の新たな領域に過ぎない。
現在、OODメソッドの評価に合わせた体系的なベンチマークが欠けている。
本研究では,特にグラフのためのOODベンチマークであるGOODを開発することを目的とする。
共変量と概念シフトの区別を明確にし、異なるシフトを正確に反映する設計データを分割します。
グラフとノードの予測タスクの両方を、シフトを設計する際に重要な違いがあると考える。
GOODには8つのデータセットと14のドメイン選択が含まれている。
共変量、概念、シフトなしと組み合わせると、42の異なる分割が得られる。
一般的な7つのベースラインメソッドにおける10個のランダムランのパフォーマンス結果を提供する。
これにより、合計294のデータセットモデルが組み合わさる。
以上の結果から,OOD設定と流通における性能差が顕著であった。
また,共変量と概念シフトの異なる手法による性能傾向についても考察した。
GOODベンチマークは成長するプロジェクトであり、地域が発展するにつれて、量と多種多様なリソースを拡大することを期待しています。
ベンチマークは$\href{https://github.com/divelab/good/}{\text{https://github.com/divelab/good/}}$でアクセスできる。
関連論文リスト
- GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。
近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。
本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
論文 参考訳(メタデータ) (2024-01-10T08:37:39Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳(メタデータ) (2023-12-14T13:47:13Z) - SGOOD: Substructure-enhanced Graph-Level Out-of-Distribution Detection [4.052070217235155]
グラフレベルのOOD検出フレームワークであるSGOODを提案する。
ID グラフと OOD グラフの間には,構造的な違いがよく見られる。
SGOODは明らかにサブストラクチャを利用して、優れたパフォーマンスを達成するために強力な表現を学ぶ。
論文 参考訳(メタデータ) (2023-10-16T09:51:24Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳(メタデータ) (2023-02-06T16:38:43Z) - GOOD-D: On Unsupervised Graph Out-Of-Distribution Detection [67.90365841083951]
我々は,OODグラフを検出するための新しいグラフコントラスト学習フレームワークGOOD-Dを開発した。
GOOD-Dは、潜在IDパターンをキャプチャし、異なる粒度のセマンティック不整合に基づいてOODグラフを正確に検出することができる。
教師なしグラフレベルのOOD検出における先駆的な研究として,提案手法と最先端手法を比較した総合的なベンチマークを構築した。
論文 参考訳(メタデータ) (2022-11-08T12:41:58Z) - ViM: Out-Of-Distribution with Virtual-logit Matching [21.788502618384985]
我々はVirtual-logit Matching (ViM) という新しいOODスコアリング手法を提案する。
ViMは、特徴空間からのクラスに依存しないスコアと、ID(In-Distribution)クラス依存ロジットを組み合わせる。
私たちは ImageNet-1K 用の新しい OOD データセットを作成します。
論文 参考訳(メタデータ) (2022-03-21T08:56:55Z) - On the Value of Out-of-Distribution Testing: An Example of Goodhart's
Law [78.10523907729642]
VQA-CPは視覚的質問応答の標準OODベンチマークとなっている。
ほとんどの公表された手法は、OOD分割の構成に関する明示的な知識に依存している。
ランダムに回答を生成できる手法を含む、恥ずかしいほど単純な手法が、いくつかの質問タイプで芸術の状態を超越していることを示す。
論文 参考訳(メタデータ) (2020-05-19T06:45:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。