論文の概要: Are We Wasting Time? A Fast, Accurate Performance Evaluation Framework for Knowledge Graph Link Predictors

• arxiv url: http://arxiv.org/abs/2402.00053v1
• Date: Thu, 25 Jan 2024 15:44:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-04 05:13:15.052194
• Title: Are We Wasting Time? A Fast, Accurate Performance Evaluation Framework for Knowledge Graph Link Predictors
• Title（参考訳）: 時間を無駄にするか? 知識グラフリンク予測のための高速かつ正確な性能評価フレームワーク
• Authors: Filip Cornell, Yifei Jin, Jussi Karlgren, Sarunas Girdzijauskas
• Abstract要約: より大規模な知識グラフでは、ランク付けプロセスは急速に重くなります。 従来のアプローチでは、エンティティのランダムサンプリングを使用して、メソッドによって予測または提案されるリンクの品質を評価していた。 得られた評価基準が真の結果を適切に反映していないため,本手法には深刻な限界があることが示されている。 本稿では,リレーショナルリコメンデータを用いて候補の選択を誘導するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.31947784387967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The standard evaluation protocol for measuring the quality of Knowledge Graph Completion methods - the task of inferring new links to be added to a graph - typically involves a step which ranks every entity of a Knowledge Graph to assess their fit as a head or tail of a candidate link to be added. In Knowledge Graphs on a larger scale, this task rapidly becomes prohibitively heavy. Previous approaches mitigate this problem by using random sampling of entities to assess the quality of links predicted or suggested by a method. However, we show that this approach has serious limitations since the ranking metrics produced do not properly reflect true outcomes. In this paper, we present a thorough analysis of these effects along with the following findings. First, we empirically find and theoretically motivate why sampling uniformly at random vastly overestimates the ranking performance of a method. We show that this can be attributed to the effect of easy versus hard negative candidates. Second, we propose a framework that uses relational recommenders to guide the selection of candidates for evaluation. We provide both theoretical and empirical justification of our methodology, and find that simple and fast methods can work extremely well, and that they match advanced neural approaches. Even when a large portion of true candidates for a property are missed, the estimation barely deteriorates. With our proposed framework, we can reduce the time and computation needed similar to random sampling strategies while vastly improving the estimation; on ogbl-wikikg2, we show that accurate estimations of the full, filtered ranking can be obtained in 20 seconds instead of 30 minutes. We conclude that considerable computational effort can be saved by effective preprocessing and sampling methods and still reliably predict performance accurately of the true performance for the entire ranking procedure.
• Abstract（参考訳）: 知識グラフ補完手法の品質を測定するための標準評価プロトコル - グラフに付加される新しいリンクを推測するタスクは、知識グラフのすべてのエンティティをランク付けし、その適合度を候補リンクのヘッドまたはテールとして評価するステップを含む。 より大規模な知識グラフでは、このタスクは急速に重くなります。 以前のアプローチでは、予測または提案するリンクの品質を評価するためにエンティティのランダムサンプリングを使用することでこの問題を軽減する。 しかし,本手法では,評価基準が真の結果を適切に反映していないため,厳密な制約があることがわかった。 本稿では,これらの効果について,以下の知見とともに徹底的な分析を行う。 まず,ランダムにサンプリングする手法が評価性能を著しく過大評価する理由を実験的に発見し,理論的に動機付けする。 このことは, 難易度と難易度が負の候補に与える影響によるものと考えられる。 第2に,リレーショナルレコメンデータを用いた評価対象の選定を支援するフレームワークを提案する。 我々は、理論と経験的正当化の両方を提供し、単純で高速な手法が極めてうまく機能し、それらは高度な神経アプローチと一致することを見出します。 不動産の真の候補の大部分が欠落しても、見積もりはほとんど悪化しない。 提案手法では,ランダムサンプリング戦略と同様の時間と計算量を削減し,推定精度を大幅に向上させることが可能であり,ogbl-wikikg2では,フィルタ付きランキングの正確な推定を30分ではなく20秒で得ることができることを示した。 その結果、効果的な前処理とサンプリング手法によってかなりの計算労力を節約でき、ランキング手続き全体の真の性能を正確に予測できることがわかった。

関連論文リスト

• Graspness Discovery in Clutters for Fast and Accurate Grasp Detection [57.81325062171676]
  グレープネス(graspness)とは、散らばった場面で把握可能な領域を区別する幾何学的手がかりに基づく品質である。 本研究では,探索過程を近似するカスケード把握モデルを構築した。 大規模なベンチマークであるGraspNet-1Billionの実験では,提案手法が従来の手法よりも大きなマージンで優れていたことが示されている。
  論文  参考訳（メタデータ） (2024-06-17T02:06:47Z)
• Exploring the Performance of Continuous-Time Dynamic Link Prediction Algorithms [14.82820088479196]
  ダイナミックリンク予測(DLP)は、進化するネットワークにおける将来のリンクの予測に対処する。 本研究では,このような総合的な評価を行うためのツールをコントリビュートする。 評価時に使用可能な陰性サンプリング手法の網羅的な分類法について述べる。
  論文  参考訳（メタデータ） (2024-05-27T14:03:28Z)
• Less is More: One-shot Subgraph Reasoning on Large-scale Knowledge Graphs [49.547988001231424]
  効率的かつ適応的な予測を実現するために,ワンショットサブグラフリンク予測を提案する。 設計原理は、KG全体に直接作用する代わりに、予測手順を2つのステップに分離する。 5つの大規模ベンチマークにおいて,効率の向上と性能の向上を実現している。
  論文  参考訳（メタデータ） (2024-03-15T12:00:12Z)
• Modeling of learning curves with applications to pos tagging [0.27624021966289597]
  トレーニングベース全体の学習曲線の進化を推定するアルゴリズムを導入する。 学習手法とは無関係に,所望のタイミングで探索値を反復的に近似する。 本提案は, 作業仮説に関して正式に正しいことを証明し, 信頼性の高い近接条件を含む。
  論文  参考訳（メタデータ） (2024-02-04T15:00:52Z)
• Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking [66.83273589348758]
  リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。 近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。 これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
  論文  参考訳（メタデータ） (2023-06-18T01:58:59Z)
• Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
  アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。 提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。 本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。 本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
  論文  参考訳（メタデータ） (2022-10-11T20:20:20Z)
• Topology-Guided Sampling for Fast and Accurate Community Detection [1.0609815608017064]
  本稿では,ブロック分割の高速化を目的としたトポロジー誘導サンプリング手法を提案する。 また、高速化を犠牲にして、我々のアプローチの有効性を向上させるための学位ベースのしきい値設定手法も導入する。 以上の結果から,本手法はサンプリングなしでブロック分割を最大15倍高速化する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-08-15T03:20:10Z)
• Efficient First-Order Contextual Bandits: Prediction, Allocation, and Triangular Discrimination [82.52105963476703]
  統計的学習、オンライン学習、その他における繰り返しのテーマは、低騒音の問題に対してより速い収束率が可能であることである。 1次保証は統計的およびオンライン学習において比較的よく理解されている。 三角識別と呼ばれる対数損失と情報理論量が一階保証を得る上で基本的な役割を担っていることを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:20:34Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• SIMPLE: SIngle-network with Mimicking and Point Learning for Bottom-up Human Pose Estimation [81.03485688525133]
  Single-network with Mimicking and Point Learning for Bottom-up Human Pose Estimation (SIMPLE) を提案する。 具体的には、トレーニングプロセスにおいて、SIMPLEが高性能なトップダウンパイプラインからのポーズ知識を模倣できるようにする。 さらに、SIMPLEは人間検出とポーズ推定を統一的なポイントラーニングフレームワークとして定式化し、単一ネットワークで相互に補完する。
  論文  参考訳（メタデータ） (2021-04-06T13:12:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。