論文の概要: Rethinking Knowledge Graph Evaluation Under the Open-World Assumption

• arxiv url: http://arxiv.org/abs/2209.08858v1
• Date: Mon, 19 Sep 2022 09:01:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 15:49:07.566185
• Title: Rethinking Knowledge Graph Evaluation Under the Open-World Assumption
• Title（参考訳）: オープンワールドにおける知識グラフ評価の再考
• Authors: Haotong Yang, Zhouchen Lin, Muhan Zhang
• Abstract要約: ほとんどの知識グラフ(KG)は不完全であり、知識グラフを自動補完する重要な研究トピックの動機となっている。 すべての未知の三つ子を偽として扱うことは、閉世界仮定(close-world assumption)と呼ばれる。 本稿では,KGCの評価を,より現実的な条件,すなわちオープンワールドの仮定の下で研究する。
• 参考スコア（独自算出の注目度）: 65.20527611711697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most knowledge graphs (KGs) are incomplete, which motivates one important research topic on automatically complementing knowledge graphs. However, evaluation of knowledge graph completion (KGC) models often ignores the incompleteness -- facts in the test set are ranked against all unknown triplets which may contain a large number of missing facts not included in the KG yet. Treating all unknown triplets as false is called the closed-world assumption. This closed-world assumption might negatively affect the fairness and consistency of the evaluation metrics. In this paper, we study KGC evaluation under a more realistic setting, namely the open-world assumption, where unknown triplets are considered to include many missing facts not included in the training or test sets. For the currently most used metrics such as mean reciprocal rank (MRR) and Hits@K, we point out that their behavior may be unexpected under the open-world assumption. Specifically, with not many missing facts, their numbers show a logarithmic trend with respect to the true strength of the model, and thus, the metric increase could be insignificant in terms of reflecting the true model improvement. Further, considering the variance, we show that the degradation in the reported numbers may result in incorrect comparisons between different models, where stronger models may have lower metric numbers. We validate the phenomenon both theoretically and experimentally. Finally, we suggest possible causes and solutions for this problem. Our code and data are available at https://github.com/GraphPKU/Open-World-KG .
• Abstract（参考訳）: ほとんどの知識グラフ(KG)は不完全であり、知識グラフを自動補完する重要な研究トピックの動機となっている。 しかし、知識グラフ補完(kgc)モデルの評価は、しばしば不完全性を無視する -- テストセットの事実は、まだkgに含まれていない多くの欠落した事実を含む未知の三重項に対してランク付けされる。 すべての未知の三重項を偽として扱うことは閉世界仮定と呼ばれる。 このクローズドワールドの仮定は評価指標の公平性と一貫性に悪影響を及ぼす可能性がある。 本稿では,より現実的な設定,すなわち未知の三重項がトレーニングやテストセットに含まれない多くの欠落事実を含むと考えられるオープンワールド仮定の下でのkgc評価について検討する。 mean reciprocal rank(mrr)やhiss@kといった現在最もよく使われているメトリクスについて、オープンワールドの仮定の下では彼らの振る舞いが予期せぬものであることを指摘します。 特に、欠落した事実は少なく、それらの数はモデルの真の強さに関して対数的傾向を示し、従って、真のモデル改善を反映するという意味では、メートル法の増加は重要ではないかもしれない。 さらに, この分散性を考慮すると, 報告された数値の劣化は, より強いモデルが低い値を持つ場合の, 異なるモデル間での誤比較をもたらす可能性があることを示す。 我々はその現象を理論的にも実験的にも検証する。 最後に,この問題の原因と解決策を提案する。 私たちのコードとデータはhttps://github.com/GraphPKU/Open-World-KGで公開されています。

関連論文リスト

• Empowering Graph Invariance Learning with Deep Spurious Infomax [27.53568333416706]
  本稿では,頑健かつ一般的な帰納バイアスを誘発する新しいグラフ不変性学習パラダイムを提案する。 EQuADは、合成データセットにおける様々なバイアスの度合いにまたがって安定したパフォーマンスを示し、実世界のデータセットに最大311.76%の価格で挑戦する。
  論文  参考訳（メタデータ） (2024-07-13T14:18:47Z)
• Normalizing Flow-based Neural Process for Few-Shot Knowledge Graph Completion [69.55700751102376]
  FKGC (Few-shot Knowledge Graph completion) は、失明した事実を、無意味な関連のある事実で予測することを目的としている。 既存のFKGC手法はメートル法学習やメタラーニングに基づいており、しばしば分布外や過度に適合する問題に悩まされる。 本稿では,数ショット知識グラフ補完(NP-FKGC)のためのフローベースニューラルプロセスの正規化を提案する。
  論文  参考訳（メタデータ） (2023-04-17T11:42:28Z)
• A Survey of Knowledge Graph Reasoning on Graph Types: Static, Dynamic, and Multimodal [57.8455911689554]
  知識グラフ推論(KGR)は、知識グラフに基づくマイニング論理則に基づいて、既存の事実から新しい事実を推論することを目的としている。 質問応答やレコメンデーションシステムなど、多くのAIアプリケーションでKGを使うことに大きなメリットがあることが証明されている。
  論文  参考訳（メタデータ） (2022-12-12T08:40:04Z)
• A Study on the Evaluation of Generative Models [19.18642459565609]
  潜在的生成モデルは、確率値を返さないが、近年は普及している。 本研究では,高品質な合成データセットの生成による生成モデルの評価指標について検討する。 FIDとISはいくつかのf-divergensと相関するが、クローズドモデルのランクは様々である。
  論文  参考訳（メタデータ） (2022-06-22T09:27:31Z)
• Deconfounded Training for Graph Neural Networks [98.06386851685645]
  本稿では, コンバウンディング効果を緩和し, 臨界情報に対するラッチを緩和する新しいDecon Training(DTP)のパラダイムを提案する。 具体的には、注意モジュールを用いて臨界部分グラフと自明部分グラフをアンタングル化する。 これにより、GNNは、ラベルとの関係が複数のディストリビューションで堅牢である、より信頼性の高いサブグラフをキャプチャできる。
  論文  参考訳（メタデータ） (2021-12-30T15:22:35Z)
• MPLR: a novel model for multi-target learning of logical rules for knowledge graph reasoning [5.499688003232003]
  本研究では,知識グラフに基づく推論のための論理規則の学習問題について検討する。 本稿では,学習データを完全に活用するために既存のモデルを改善するMPLRと呼ばれるモデルを提案する。 実験結果は,MPLRモデルが5つのベンチマークデータセット上で最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-12T09:16:00Z)
• Are Missing Links Predictable? An Inferential Benchmark for Knowledge Graph Completion [79.07695173192472]
  InferWikiは推論能力、仮定、パターンの既存のベンチマークを改善している。 各テストサンプルは、トレーニングセットの支持データで予測可能である。 実験では,大きさや構造が異なるInferWikiの2つの設定をキュレートし,比較データセットとしてCoDExに構築プロセスを適用する。
  論文  参考訳（メタデータ） (2021-08-03T09:51:15Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)
• Roses Are Red, Violets Are Blue... but Should Vqa Expect Them To? [0.0]
  ドメイン内精度を総合的に測定する標準評価基準は誤解を招くものであると論じる。 これらの問題を克服するためのGQA-OODベンチマークを提案する。
  論文  参考訳（メタデータ） (2020-06-09T08:50:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。