論文の概要: New Perspectives on the Evaluation of Link Prediction Algorithms for Dynamic Graphs

• arxiv url: http://arxiv.org/abs/2311.18486v1
• Date: Thu, 30 Nov 2023 11:57:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 16:42:11.226391
• Title: New Perspectives on the Evaluation of Link Prediction Algorithms for Dynamic Graphs
• Title（参考訳）: 動的グラフのためのリンク予測アルゴリズムの評価に関する新しい展望
• Authors: Rapha\"el Romero, Tijl De Bie, Jefrey Lijffijt
• Abstract要約: 本稿では,予測性能と時間ネットワークのダイナミックスに関する洞察を得られる新しい可視化手法を提案する。 我々は、最近のベンチマークから抽出されたデータセットに対して、エラーが通常、異なるデータセグメントに均等に分散されていないことを実証的に検証する。
• 参考スコア（独自算出の注目度）: 12.987894327817159
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is a fast-growing body of research on predicting future links in dynamic networks, with many new algorithms. Some benchmark data exists, and performance evaluations commonly rely on comparing the scores of observed network events (positives) with those of randomly generated ones (negatives). These evaluation measures depend on both the predictive ability of the model and, crucially, the type of negative samples used. Besides, as generally the case with temporal data, prediction quality may vary over time. This creates a complex evaluation space. In this work, we catalog the possibilities for negative sampling and introduce novel visualization methods that can yield insight into prediction performance and the dynamics of temporal networks. We leverage these visualization tools to investigate the effect of negative sampling on the predictive performance, at the node and edge level. We validate empirically, on datasets extracted from recent benchmarks that the error is typically not evenly distributed across different data segments. Finally, we argue that such visualization tools can serve as powerful guides to evaluate dynamic link prediction methods at different levels.
• Abstract（参考訳）: 多くの新しいアルゴリズムによって、動的ネットワークにおける将来のリンクを予測する研究が急速に進んでいる。 いくつかのベンチマークデータが存在し、パフォーマンス評価は通常、観測されたネットワークイベント(正)とランダムに生成されたもの(負)のスコアを比較することに依存する。 これらの評価尺度は、モデルの予測能力と、特に使用される負のサンプルの種類の両方に依存する。 さらに、一般的に時間データの場合、予測品質は時間とともに変化する可能性がある。 これは複雑な評価空間を生み出す。 本研究では,ネガティブサンプリングの可能性のカタログ化と,予測性能と時間ネットワークのダイナミクスに関する洞察を得られる新しい可視化手法を導入する。 これらの可視化ツールを用いて,ノードおよびエッジレベルでの予測性能に対する負のサンプリングの効果を調べる。 我々は、最近のベンチマークから抽出されたデータセット上で、エラーが通常、異なるデータセグメントに均等に分散していないことを実証的に検証する。 最後に,このような可視化ツールが動的リンク予測手法を様々なレベルで評価するための強力なガイドとなることを論じる。

関連論文リスト

• From Link Prediction to Forecasting: Information Loss in Batch-based Temporal Graph Learning [0.716879432974126]
  バッチ指向評価の適合性はデータセットの特性に依存することを示す。 我々は、動的リンク予測をリンク予測タスクとして再構成し、データに存在する時間情報のより良い説明を行う。
  論文  参考訳（メタデータ） (2024-06-07T12:45:12Z)
• Exploring the Performance of Continuous-Time Dynamic Link Prediction Algorithms [14.82820088479196]
  ダイナミックリンク予測(DLP)は、進化するネットワークにおける将来のリンクの予測に対処する。 本研究では,このような総合的な評価を行うためのツールをコントリビュートする。 評価時に使用可能な陰性サンプリング手法の網羅的な分類法について述べる。
  論文  参考訳（メタデータ） (2024-05-27T14:03:28Z)
• Temporal graph models fail to capture global temporal dynamics [0.43512163406552007]
  我々は「最近普及しているノード」の自明な最適化のないベースラインを提案する。 本研究では, 時間変動が強いデータセットに対して, 標準負サンプリング評価が不適当であることを示す。 この結果から,時間グラフネットワークアーキテクチャは,重要なグローバルダイナミクスを持つ問題における使用法を深く再考する必要があることが示唆された。
  論文  参考訳（メタデータ） (2023-09-27T15:36:45Z)
• Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking [66.83273589348758]
  リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。 近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。 これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
  論文  参考訳（メタデータ） (2023-06-18T01:58:59Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• Benchmarking Network Embedding Models for Link Prediction: Are We Making Progress? [84.43405961569256]
  我々はリンク予測のためのネットワーク埋め込み手法の最先端について光を当てた。 私たちは、一貫した評価パイプラインを使用して、過去数年間でわずかに進歩しただけであることを示しています。 我々は、標準化された評価ツールがこの状況を修復し、この分野の将来的な進歩を促進することができると論じている。
  論文  参考訳（メタデータ） (2020-02-25T16:59:09Z)
• A Multi-Channel Neural Graphical Event Model with Negative Evidence [76.51278722190607]
  イベントデータセットは、タイムライン上で不規則に発生するさまざまなタイプのイベントのシーケンスである。 基礎となる強度関数を推定するために,非パラメトリックディープニューラルネットワーク手法を提案する。
  論文  参考訳（メタデータ） (2020-02-21T23:10:50Z)
• A clustering approach to time series forecasting using neural networks: A comparative study on distance-based vs. feature-based clustering methods [1.256413718364189]
  動的測定を用いて時系列データを予測するために,様々なニューラルネットワークアーキテクチャを提案する。 また,異常検出やクラスタリングなどの手法が予測精度に与える影響についても検討した。 その結果,クラスタリングは全体の予測時間を改善するとともに,ニューラルネットワークの予測性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-01-27T00:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。