論文の概要: Reevaluation of Inductive Link Prediction
- arxiv url: http://arxiv.org/abs/2409.20130v1
- Date: Mon, 30 Sep 2024 09:32:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-02 18:56:57.453524
- Title: Reevaluation of Inductive Link Prediction
- Title(参考訳): 帰納的リンク予測の再評価
- Authors: Simon Ott, Christian Meilicke, Heiner Stuckenschmidt,
- Abstract要約: 帰納的リンク予測に現在使用されている評価プロトコルには,重大な欠陥があることが示されている。
負の集合のサイズが限られているため、単純なルールベースのベースラインは最先端の結果を得ることができる。
- 参考スコア(独自算出の注目度): 9.955225436683959
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Within this paper, we show that the evaluation protocol currently used for inductive link prediction is heavily flawed as it relies on ranking the true entity in a small set of randomly sampled negative entities. Due to the limited size of the set of negatives, a simple rule-based baseline can achieve state-of-the-art results, which simply ranks entities higher based on the validity of their type. As a consequence of these insights, we reevaluate current approaches for inductive link prediction on several benchmarks using the link prediction protocol usually applied to the transductive setting. As some inductive methods suffer from scalability issues when evaluated in this setting, we propose and apply additionally an improved sampling protocol, which does not suffer from the problem mentioned above. The results of our evaluation differ drastically from the results reported in so far.
- Abstract(参考訳): そこで本論文では,帰納的リンク予測に現在使用されている評価プロトコルが,ランダムにサンプリングされた小さな負のエンティティの集合における真のエンティティのランク付けに依存しているため,重大な欠陥があることを示す。
負の集合のサイズが限られているため、単純なルールベースのベースラインは最先端の結果を達成できる。
これらの知見の結果として、通常、帰納的設定に適用されるリンク予測プロトコルを用いて、いくつかのベンチマーク上での帰納的リンク予測に対する現在のアプローチを再評価する。
提案手法は,本手法の評価においてスケーラビリティの問題に悩まされているため,上述した問題に支障を来さない改良されたサンプリングプロトコルを提案し,適用する。
評価結果はこれまでに報告された結果と大きく異なる。
関連論文リスト
- Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
生成モデルは出力に対する厳密な統計的保証を欠いている。
厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。
このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
論文 参考訳(メタデータ) (2024-10-02T15:26:52Z) - Estimating Treatment Effects under Recommender Interference: A Structured Neural Networks Approach [13.208141830901845]
標準差分推定器は、推奨者干渉による偏差推定を導出できることを示す。
本稿では,処理項目と制御項目の両方を含むプールからどのアイテムが露出するかを記述した「レコメンダ選択モデル」を提案する。
提案した推定器はベンチマークに匹敵する結果が得られるのに対し,標準差分推定器は有意なバイアスを示し,また逆の兆候も生み出すことを示す。
論文 参考訳(メタデータ) (2024-06-20T14:53:26Z) - AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。
提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
論文 参考訳(メタデータ) (2023-11-16T02:56:29Z) - Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls
and New Benchmarking [66.83273589348758]
リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。
近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。
これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
論文 参考訳(メタデータ) (2023-06-18T01:58:59Z) - Predictive change point detection for heterogeneous data [1.1720726814454114]
予測と比較」は、予測機械学習モデルによって支援される変化点検出フレームワークである。
オンラインCDDルーチンでは、偽陽性率と制御不能な平均ランの長さでパフォーマンスが向上する。
この手法のパワーはトライボロジーのケーススタディで実証されている。
論文 参考訳(メタデータ) (2023-05-11T07:59:18Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳(メタデータ) (2021-07-05T21:05:11Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳(メタデータ) (2021-04-12T18:50:11Z) - On Model Identification and Out-of-Sample Prediction of Principal
Component Regression: Applications to Synthetic Controls [20.96904429337912]
固定設計による高次元誤差変数設定における主成分回帰(PCR)の解析を行う。
我々は、最もよく知られたレートで改善される非漸近的なアウト・オブ・サンプル予測の保証を確立する。
論文 参考訳(メタデータ) (2020-10-27T17:07:36Z) - Benchmarking Network Embedding Models for Link Prediction: Are We Making
Progress? [84.43405961569256]
我々はリンク予測のためのネットワーク埋め込み手法の最先端について光を当てた。
私たちは、一貫した評価パイプラインを使用して、過去数年間でわずかに進歩しただけであることを示しています。
我々は、標準化された評価ツールがこの状況を修復し、この分野の将来的な進歩を促進することができると論じている。
論文 参考訳(メタデータ) (2020-02-25T16:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。