論文の概要: Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking

• arxiv url: http://arxiv.org/abs/2306.10453v3
• Date: Sat, 18 Nov 2023 19:03:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 18:57:27.567664
• Title: Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking
• Title（参考訳）: リンク予測のためのグラフニューラルネットワークの評価:現在の落とし穴とベンチマーク
• Authors: Juanhui Li, Harry Shomer, Haitao Mao, Shenglai Zeng, Yao Ma, Neil Shah, Jiliang Tang, Dawei Yin
• Abstract要約: リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。 近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。 これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
• 参考スコア（独自算出の注目度）: 66.83273589348758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Link prediction attempts to predict whether an unseen edge exists based on only a portion of edges of a graph. A flurry of methods have been introduced in recent years that attempt to make use of graph neural networks (GNNs) for this task. Furthermore, new and diverse datasets have also been created to better evaluate the effectiveness of these new models. However, multiple pitfalls currently exist that hinder our ability to properly evaluate these new methods. These pitfalls mainly include: (1) Lower than actual performance on multiple baselines, (2) A lack of a unified data split and evaluation metric on some datasets, and (3) An unrealistic evaluation setting that uses easy negative samples. To overcome these challenges, we first conduct a fair comparison across prominent methods and datasets, utilizing the same dataset and hyperparameter search settings. We then create a more practical evaluation setting based on a Heuristic Related Sampling Technique (HeaRT), which samples hard negative samples via multiple heuristics. The new evaluation setting helps promote new challenges and opportunities in link prediction by aligning the evaluation with real-world situations. Our implementation and data are available at https://github.com/Juanhui28/HeaRT
• Abstract（参考訳）: リンク予測は、グラフのエッジの一部のみに基づいて、見当たらないエッジが存在するかどうかを予測しようとする。 近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。 さらに、これらの新しいモデルの有効性をより良く評価するために、新しく多様なデータセットも作成されている。 しかし、これらの新しい手法を適切に評価する能力を阻害する複数の落とし穴がある。 これらの落とし穴には、(1)複数のベースラインでの実際のパフォーマンスよりも低いこと、(2)いくつかのデータセットにおける統一データ分割と評価指標の欠如、(3)簡単な負のサンプルを用いた非現実的な評価設定が含まれる。 これらの課題を克服するために、我々はまず、同じデータセットとハイパーパラメータ検索設定を利用して、注目すべきメソッドとデータセットを公正に比較する。 次に,複数のヒューリスティックスを用いて硬い負のサンプルをサンプリングするヒューリスティック関連サンプリング手法(heart)に基づいて,より実用的な評価設定を行う。 新しい評価設定は、評価を現実世界の状況に合わせることによって、リンク予測の新たな挑戦と機会を促進するのに役立つ。 私たちの実装とデータはhttps://github.com/Juanhui28/HeaRTで利用可能です。

関連論文リスト

• New Perspectives on the Evaluation of Link Prediction Algorithms for Dynamic Graphs [12.987894327817159]
  本稿では,予測性能と時間ネットワークのダイナミックスに関する洞察を得られる新しい可視化手法を提案する。 我々は、最近のベンチマークから抽出されたデータセットに対して、エラーが通常、異なるデータセグメントに均等に分散されていないことを実証的に検証する。
  論文  参考訳（メタデータ） (2023-11-30T11:57:07Z)
• Towards Mitigating more Challenging Spurious Correlations: A Benchmark & New Datasets [43.64631697043496]
  ディープニューラルネットワークは、しばしばクラスラベルと急激な相関を持つ非予測的特徴を利用する。 急激な相関を修復する最近の研究が増えているにもかかわらず、標準化されたベンチマークの欠如は再現可能な評価を妨げている。 本稿では,PythonパッケージであるSpuCoについて述べる。
  論文  参考訳（メタデータ） (2023-06-21T00:59:06Z)
• From Spectral Graph Convolutions to Large Scale Graph Convolutional Networks [0.0]
  グラフ畳み込みネットワーク(GCN)は、様々なタスクにうまく適用された強力な概念であることが示されている。 古典グラフ理論の関連部分を含むGCNの定義への道を開いた理論を考察する。
  論文  参考訳（メタデータ） (2022-07-12T16:57:08Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
  大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。 このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。 本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
  論文  参考訳（メタデータ） (2020-06-30T03:18:15Z)
• Evaluating Models' Local Decision Boundaries via Contrast Sets [119.38387782979474]
  テストデータの体系的なギャップを埋めるのに役立つNLPのための新しいアノテーションパラダイムを提案する。 10種類のNLPデータセットに対してコントラストセットを作成することで,コントラストセットの有効性を示す。 我々のコントラストセットは明示的には逆ではないが、モデルの性能は元のテストセットよりも大幅に低い。
  論文  参考訳（メタデータ） (2020-04-06T14:47:18Z)
• Frustratingly Simple Few-Shot Object Detection [98.42824677627581]
  希少なクラスにおける既存検出器の最後の層のみを微調整することは、数発の物体検出タスクに不可欠である。 このような単純なアプローチは、現在のベンチマークで約220ポイントのメタ学習方法より優れている。
  論文  参考訳（メタデータ） (2020-03-16T00:29:14Z)
• PushNet: Efficient and Adaptive Neural Message Passing [1.9121961872220468]
  メッセージパッシングニューラルネットワークは、最近、グラフ上での表現学習に対する最先端のアプローチへと進化した。 既存のメソッドは、複数のラウンドですべてのエッジに沿って同期メッセージパッシングを実行する。 我々は、収束するまで最も関連性の高いエッジに沿ってのみ情報をプッシュする、新しい非同期メッセージパッシングアプローチについて検討する。
  論文  参考訳（メタデータ） (2020-03-04T18:15:30Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• Benchmarking Network Embedding Models for Link Prediction: Are We Making Progress? [84.43405961569256]
  我々はリンク予測のためのネットワーク埋め込み手法の最先端について光を当てた。 私たちは、一貫した評価パイプラインを使用して、過去数年間でわずかに進歩しただけであることを示しています。 我々は、標準化された評価ツールがこの状況を修復し、この分野の将来的な進歩を促進することができると論じている。
  論文  参考訳（メタデータ） (2020-02-25T16:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。