論文の概要: Generalized Rank-based Evaluation for Knowledge Graph Completion: Perspectives, Framework, and Analyses

• arxiv url: http://arxiv.org/abs/2606.08921v1
• Date: Mon, 08 Jun 2026 02:00:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.566095
• Title: Generalized Rank-based Evaluation for Knowledge Graph Completion: Perspectives, Framework, and Analyses
• Title（参考訳）: 知識グラフ補完のための一般化ランクに基づく評価--視点・枠組み・分析
• Authors: Sooho Moon, Jian Kang, Yunyong Ko,
• Abstract要約: 既存の評価指標では見過ごせない2つの重要な視点をKGC評価に導入する。 本稿では,予測シャープネスのレベルに基づいて,各予測のスコアを推定する一般化評価フレームワーク PROBE を提案する。 PROBEはそのような一貫性をよりよく維持し、既存のメトリクスよりも信頼性の高い本質的なモデル性能を推定できることを示す。
• 参考スコア（独自算出の注目度）: 2.7836206220202757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge graph completion (KGC) aims to predict missing facts from an observed knowledge graph (KG), playing a crucial role in a wide range of real-world applications such as drug discovery, recommender systems, and retrieval-augmented generation (RAG). Although numerous KGC models have been proposed, the evaluation of KGC remains underexplored, despite its critical role in reliably assessing model performance and selecting appropriate models for real-world applications. In this paper, we introduce two important perspectives for KGC evaluation that are overlooked by existing evaluation metrics, (P1) predictive sharpness and (P2) popularity-bias robustness. To address both perspectives, we propose a generalized evaluation framework, PROBE, which consists of a rank transformer (RT) that estimates the score of each prediction based on a desired level of predictive sharpness and a rank aggregator (RA) that determines the final evaluation score by aggregating all prediction scores according to a desired level of popularity-bias robustness. We theoretically analyze PROBE by defining six key properties for reliable KGC evaluation and prove that PROBE satisfies all the properties, while existing metrics fail to satisfy some. In particular, due to the open-world nature of KGs, an evaluation metric should preserve the relative performance of KGC models even when only incomplete facts are observed. We show that PROBE better maintains such consistency, providing a more reliable estimate of intrinsic model performance than existing metrics. Extensive experiments with six KGC models on six real-world KGs reveal that existing metrics may over- or under-estimate model performance depending on different evaluation perspectives, whereas PROBE enables a more comprehensive, flexible, and consistent evaluation of KGC models.
• Abstract（参考訳）: 知識グラフ補完(KGC)は、観察された知識グラフ(KG)から行方不明の事実を予測することを目的としており、薬物発見、レコメンダシステム、検索強化世代(RAG)など、幅広い現実世界の応用において重要な役割を果たす。 多くのKGCモデルが提案されているが、モデル性能を確実に評価し、現実のアプリケーションに適切なモデルを選択する上で重要な役割を担っているにもかかわらず、KGCの評価は未定のままである。 本稿では,既存の評価指標で見落としているKGC評価の2つの重要な視点,(P1)予測的シャープネスと(P2)人気バイアスの頑健さを紹介する。 両視点に対処するために、予測のシャープネスの所望レベルに基づいて各予測のスコアを推定するランクトランスフォーマー(RT)と、全ての予測スコアを所望の人気バイアスのロバストネスのレベルに応じて集約して最終評価スコアを決定するランクアグリゲータ(RA)からなる一般化評価フレームワーク PROBE を提案する。 信頼性のあるKGC評価のための6つの鍵特性を定義し,P PROBEが全ての特性を満たすことを証明し,既存の指標が満たされていないことを理論的に解析する。 特に、KGsのオープンワールドの性質から、不完全事実のみが観測された場合でも、評価基準はKGCモデルの相対的な性能を保たなければならない。 PROBEはそのような一貫性をよりよく維持し、既存のメトリクスよりも信頼性の高い本質的なモデル性能を推定できることを示す。 6つの実世界のKG上での6つのKGCモデルによる大規模な実験では、既存のメトリクスは異なる評価視点によって過大または過小評価される可能性があるが、P PROBEはより包括的で柔軟で一貫したKGCモデルの評価を可能にする。

関連論文リスト

• Skill-Aligned Annotation for Reliable Evaluation in Text-to-Image Generation [50.85337196571056]
  テキスト・ツー・イメージ(T2I)生成は急速に進歩し、モデル間の性能差が狭まるにつれて信頼性の高い評価が重要になった。 既存の評価慣行は、通常、Likert-scale や binary question answering (BQA) のような一様アノテーション機構を適用している。 我々は,T2I評価を,各評価スキルの根底にある特徴を反映したアノテーション戦略のレンズを通して再検討する。
  論文  参考訳（メタデータ） (2026-05-13T09:14:31Z)
• How Sharp and Bias-Robust is a Model? Dual Evaluation Perspectives on Knowledge Graph Completion [0.5271072635937927]
  知識グラフ補完(KGC)は、観測されたKGから行方不明の事実を予測することを目的としている。 既存のメトリクスは、KGC評価の2つの重要な視点を見落としている。 新たな評価枠組み(PROBE)を提案する。 実世界のKGの実験により、既存のメトリクスはKGCモデルの精度を過大または過小評価する傾向があることが明らかになった。
  論文  参考訳（メタデータ） (2025-12-06T04:49:29Z)
• KG-EDAS: A Meta-Metric Framework for Evaluating Knowledge Graph Completion Models [0.0]
  知識グラフ(KG)を評価する上での大きな課題は、複数のデータセットとメトリクスのパフォーマンスを比較することだ。 我々は,平均解からの距離に基づくKG評価を提案し,マルチメトリック・マルチデータセットのパフォーマンスを統一的なランキングに組み込む。 EDASは、より情報のあるモデル選択をサポートし、データセット間の評価において公平性を促進するグローバルな視点を提供する。
  論文  参考訳（メタデータ） (2025-08-21T08:37:35Z)
• On Large-scale Evaluation of Embedding Models for Knowledge Graph Completion [1.2703808802607108]
  知識グラフ埋め込み(KGE)モデルは知識グラフ補完のために広く研究されている。 標準的な評価基準は、欠落した三重項を正確に予測するためのモデルを罰するクローズドワールドの仮定に依存している。 本稿では,大規模データセットFB-CVT-REVとFB+CVT-REVの4つの代表的なKGEモデルを包括的に評価する。
  論文  参考訳（メタデータ） (2025-04-11T20:49:02Z)
• Benchmarking community drug response prediction models: datasets, models, tools, and metrics for cross-dataset generalization analysis [36.689210473887904]
  本稿では,ディープラーニング(DL)モデルと機械学習(ML)モデルにおけるデータセット間予測の一般化を評価するためのベンチマークフレームワークを提案する。 絶対的なパフォーマンス(データセット間での予測精度など)と相対的なパフォーマンス(例えば、データセット内の結果と比較してパフォーマンス低下)の両方を定量化します。 本結果は,厳密な一般化評価の重要性を浮き彫りにして,未知のデータセット上でモデルをテストする場合の大幅な性能低下を明らかにした。
  論文  参考訳（メタデータ） (2025-03-18T15:40:18Z)
• FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
  FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。 モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
  論文  参考訳（メタデータ） (2023-07-20T14:56:35Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。