論文の概要: GOOD: A Graph Out-of-Distribution Benchmark

• arxiv url: http://arxiv.org/abs/2206.08452v1
• Date: Thu, 16 Jun 2022 21:16:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-20 13:00:32.970424
• Title: GOOD: A Graph Out-of-Distribution Benchmark
• Title（参考訳）: GOOD: 分散ベンチマークのグラフ
• Authors: Shurui Gui, Xiner Li, Limei Wang, Shuiwang Ji
• Abstract要約: アウト・オブ・ディストリビューション(OOD)学習は、トレーニングとテストデータが異なる分布に従うシナリオを扱う。 GOODベンチマークは成長するプロジェクトであり、地域が発展するにつれて、量と多種多様なリソースを拡大することを期待している。
• 参考スコア（独自算出の注目度）: 36.388390372376364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Out-of-distribution (OOD) learning deals with scenarios in which training and test data follow different distributions. Although general OOD problems have been intensively studied in machine learning, graph OOD is only an emerging area of research. Currently, there lacks a systematic benchmark tailored to graph OOD method evaluation. In this work, we aim at developing an OOD benchmark, known as GOOD, for graphs specifically. We explicitly make distinctions between covariate and concept shifts and design data splits that accurately reflect different shifts. We consider both graph and node prediction tasks as there are key differences when designing shifts. Overall, GOOD contains 8 datasets with 14 domain selections. When combined with covariate, concept, and no shifts, we obtain 42 different splits. We provide performance results on 7 commonly used baseline methods with 10 random runs. This results in 294 dataset-model combinations in total. Our results show significant performance gaps between in-distribution and OOD settings. Our results also shed light on different performance trends between covariate and concept shifts by different methods. Our GOOD benchmark is a growing project and expects to expand in both quantity and variety of resources as the area develops. The GOOD benchmark can be accessed via $\href{https://github.com/divelab/GOOD/}{\text{https://github.com/divelab/GOOD/}}$.
• Abstract（参考訳）: out-of-distribution(ood)学習は、トレーニングとテストデータが異なる分布に従うシナリオを扱う。 一般のOOD問題は機械学習において集中的に研究されているが、グラフOODは研究の新たな領域に過ぎない。 現在、OODメソッドの評価に合わせた体系的なベンチマークが欠けている。 本研究では,特にグラフのためのOODベンチマークであるGOODを開発することを目的とする。 共変量と概念シフトの区別を明確にし、異なるシフトを正確に反映する設計データを分割します。 グラフとノードの予測タスクの両方を、シフトを設計する際に重要な違いがあると考える。 GOODには8つのデータセットと14のドメイン選択が含まれている。 共変量、概念、シフトなしと組み合わせると、42の異なる分割が得られる。 一般的な7つのベースラインメソッドにおける10個のランダムランのパフォーマンス結果を提供する。 これにより、合計294のデータセットモデルが組み合わさる。 以上の結果から,OOD設定と流通における性能差が顕著であった。 また,共変量と概念シフトの異なる手法による性能傾向についても考察した。 GOODベンチマークは成長するプロジェクトであり、地域が発展するにつれて、量と多種多様なリソースを拡大することを期待しています。 ベンチマークは$\href{https://github.com/divelab/good/}{\text{https://github.com/divelab/good/}}$でアクセスできる。

関連論文リスト

• RoarGraph: A Projected Bipartite Graph for Efficient Cross-Modal Approximate Nearest Neighbor Search [11.069814476661827]
  クロスモーダルANNSは、あるモダリティからデータベクトルを使用して、他のモダリティから最も類似したアイテムを検索することを目的としている。 最先端のANNSアプローチでは、OODワークロードのパフォーマンスが低下している。 本稿では、クエリ分布のガイダンスに基づいて構築された効率的なANNSグラフインデックスであるpRojected bipartite Graph(RoarGraph)を提案する。
  論文  参考訳（メタデータ） (2024-08-16T06:48:16Z)
• Rethinking the Evaluation of Out-of-Distribution Detection: A Sorites Paradox [70.57120710151105]
  既存のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、サンプルを新しいラベルでOODデータとして分類する。 いくつかの限界OODサンプルは、実際には分布内(ID)サンプルに密接なセマンティック内容を持ち、OODサンプルをソリテスパラドックス(英語版)と判定する。 この問題に対処するため,Incremental Shift OOD (IS-OOD) というベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-06-14T09:27:56Z)
• GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
  グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。 近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。 本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
  論文  参考訳（メタデータ） (2024-01-10T08:37:39Z)
• EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
  本稿では,長い尾を持つOOD検出の課題に対処する。 主な困難は、尾クラスに属するサンプルとOODデータを区別することである。 本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
  論文  参考訳（メタデータ） (2023-12-14T13:47:13Z)
• GOOD-D: On Unsupervised Graph Out-Of-Distribution Detection [67.90365841083951]
  我々は,OODグラフを検出するための新しいグラフコントラスト学習フレームワークGOOD-Dを開発した。 GOOD-Dは、潜在IDパターンをキャプチャし、異なる粒度のセマンティック不整合に基づいてOODグラフを正確に検出することができる。 教師なしグラフレベルのOOD検出における先駆的な研究として,提案手法と最先端手法を比較した総合的なベンチマークを構築した。
  論文  参考訳（メタデータ） (2022-11-08T12:41:58Z)
• ViM: Out-Of-Distribution with Virtual-logit Matching [21.788502618384985]
  我々はVirtual-logit Matching (ViM) という新しいOODスコアリング手法を提案する。 ViMは、特徴空間からのクラスに依存しないスコアと、ID(In-Distribution)クラス依存ロジットを組み合わせる。 私たちは ImageNet-1K 用の新しい OOD データセットを作成します。
  論文  参考訳（メタデータ） (2022-03-21T08:56:55Z)
• On the Value of Out-of-Distribution Testing: An Example of Goodhart's Law [78.10523907729642]
  VQA-CPは視覚的質問応答の標準OODベンチマークとなっている。 ほとんどの公表された手法は、OOD分割の構成に関する明示的な知識に依存している。 ランダムに回答を生成できる手法を含む、恥ずかしいほど単純な手法が、いくつかの質問タイプで芸術の状態を超越していることを示す。
  論文  参考訳（メタデータ） (2020-05-19T06:45:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。