論文の概要: Sem@$K$: Is my knowledge graph embedding model semantic-aware?

• arxiv url: http://arxiv.org/abs/2301.05601v1
• Date: Fri, 13 Jan 2023 15:06:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-16 14:18:08.477053
• Title: Sem@$K$: Is my knowledge graph embedding model semantic-aware?
• Title（参考訳）: sem@$k$: 私の知識グラフ埋め込みモデルの意味認識は?
• Authors: Nicolas Hubert, Pierre Monnin, Armelle Brun, Davy Monticolo
• Abstract要約: 知識グラフ埋め込みモデル(KGEMs)の使用は、知識グラフ(KGs)におけるリンクを予測するための一般的なアプローチである。 伝統的に、リンク予測のためのKGEMの性能はランクベースの指標を用いて評価される。 以前に紹介したメトリクスSem@$K$は、有効なエンティティw.r.t.ドメインと範囲制約を予測するモデルの能力を測定します。
• 参考スコア（独自算出の注目度）: 2.408714894793063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using knowledge graph embedding models (KGEMs) is a popular approach for predicting links in knowledge graphs (KGs). Traditionally, the performance of KGEMs for link prediction is assessed using rank-based metrics, which evaluate their ability to give high scores to ground-truth entities. However, the literature claims that the KGEM evaluation procedure would benefit from adding supplementary dimensions to assess. That is why, in this paper, we extend our previously introduced metric Sem@$K$ that measures the capability of models to predict valid entities w.r.t. domain and range constrains. In particular, we consider a broad range of KGs and take their respective characteristics into account to propose different versions of Sem@$K$. We also perform an extensive study of KGEM semantic awareness. Our experiments show that Sem@$K$ provides a new perspective on KGEM quality. Its joint analysis with rank-based metrics offer different conclusions on the predictive power of models. Regarding Sem@$K$, some KGEMs are inherently better than others, but this semantic superiority is not indicative of their performance w.r.t. rank-based metrics. In this work, we generalize conclusions about the relative performance of KGEMs w.r.t. rank-based and semantic-oriented metrics at the level of families of models. The joint analysis of the aforementioned metrics gives more insight into the peculiarities of each model. This work paves the way for a more comprehensive evaluation of KGEM adequacy for specific downstream tasks.
• Abstract（参考訳）: 知識グラフ埋め込みモデル(KGEMs)の使用は、知識グラフ(KGs)のリンクを予測する一般的な手法である。 伝統的に、リンク予測のためのKGEMの性能はランクベースの指標を用いて評価される。 しかしながら、文献は、KGEM評価手順は、評価に補助的な次元を追加する利点があると主張している。 そこで、本稿では、モデルが有効なエンティティw.r.t.ドメインと範囲制約を予測できる能力を測定する、以前に導入したメトリクスSem@$K$を拡張する。 特に、広い範囲のKGを考慮し、それぞれの特性を考慮し、Sem@$K$の異なるバージョンを提案する。 また,KGEMセマンティック・アウェアネスの広範な研究も行っている。 我々の実験によると、Sem@$K$はKGEMの品質に関する新しい視点を提供する。 ランクベースのメトリクスとの共同分析は、モデルの予測力について異なる結論を与える。 Sem@$K$に関しては、一部のKGEMは本質的に他のKGEMよりも優れているが、このセマンティックな優位性は、ランクベースのメトリクスのパフォーマンスを示すものではない。 本研究では,KGEMs w.r.t.ランクベースおよびセマンティック指向メトリクスの相対的性能に関する結論を,モデルファミリーのレベルで一般化する。 上記のメトリクスの合同分析は、各モデルの特異性についてより深い洞察を与える。 この研究は、特定の下流タスクに対するより包括的なKGEMの妥当性評価の道を開く。

関連論文リスト

• Guardians of the Machine Translation Meta-Evaluation: Sentinel Metrics Fall In! [80.3129093617928]
  毎年、機械翻訳会議(WMT)において、メトリクス共有タスクオーガナイザは、機械翻訳(MT)メトリクスのメタ評価を行う。 この研究は、現在WMTで採用されているメタ評価フレームワークに関する2つの問題を強調し、メトリクスランキングへの影響を評価する。 本稿では,メタ評価プロセスの正確性,堅牢性,公正性を精査するために設計されたセンチネルメトリクスの概念を紹介する。
  論文  参考訳（メタデータ） (2024-08-25T13:29:34Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• Do Similar Entities have Similar Embeddings? [2.9498907601878974]
  知識グラフ埋め込みモデル(KGEMs)は、知識グラフ内のエンティティのベクトル表現を学習する。 一般的な仮定は、KGEエンティティ類似性仮定であり、これらのKGEMはグラフの構造を埋め込み空間内に保持する。 しかし、埋め込み空間における実体の類似性と類似性の関係は、公式に評価されることはめったにない。 本稿では、グラフにおけるエンティティの類似性が本質的に埋め込み空間に反映されているという一般的な仮定に挑戦する。
  論文  参考訳（メタデータ） (2023-12-16T08:08:36Z)
• Rethinking Language Models as Symbolic Knowledge Graphs [7.192286645674803]
  シンボリック・ナレッジグラフ(英語版)(KG)は、検索、質問応答、レコメンデーションといった知識中心のアプリケーションにおいて重要な役割を果たす。 我々は、対称性、非対称性、階層性、双方向性、構成性、パス、エンティティ中心性、バイアス、曖昧さを含む属性のスペクトルを含む9つの定性的ベンチマークを構築した。
  論文  参考訳（メタデータ） (2023-08-25T21:25:08Z)
• Schema First! Learn Versatile Knowledge Graph Embeddings by Capturing Semantics with MASCHInE [3.174882428337821]
  近年,知識グラフ埋め込みモデル (KGEMs) が注目されている。 本研究では,RDF/S情報を活用するKGの小型改良版であるプロトグラフを設計する。 学習されたプロトグラフベースの埋め込みは、KGのセマンティクスをカプセル化することを目的としており、KGEの学習に利用することができる。
  論文  参考訳（メタデータ） (2023-06-06T13:22:54Z)
• Joint Metrics Matter: A Better Standard for Trajectory Forecasting [67.1375677218281]
  マルチモーダル・トラジェクトリ・予測法 : シングルエージェント・メトリクス(マージナル・メトリクス)を用いた評価 余分な指標にのみ注目することは、グループとして明確に一緒に歩いている人々のために、軌跡の衝突や軌跡のばらつきといった、不自然な予測につながる可能性がある。 本稿では,JADE,JFDE,衝突速度といったマルチエージェントメトリクス(ジョイントメトリクス)に関して,最先端トラジェクトリ予測手法の総合評価を行った。
  論文  参考訳（メタデータ） (2023-05-10T16:27:55Z)
• KGxBoard: Explainable and Interactive Leaderboard for Evaluation of Knowledge Graph Completion Models [76.01814380927507]
  KGxBoardは、データの意味のあるサブセットを詳細に評価するためのインタラクティブなフレームワークである。 実験では,KGxBoardを用いることで,標準平均シングルスコアメトリクスでは検出が不可能であったことを強調した。
  論文  参考訳（メタデータ） (2022-08-23T15:11:45Z)
• Knowledge Graph Embedding Methods for Entity Alignment: An Experimental Review [7.241438112282638]
  我々は、エンティティアライメントのための一般的な埋め込み手法の最初のメタレベル解析を行う。 KGsにより抽出された様々なメタ機能と異なる埋め込み手法の統計的に有意な相関関係が明らかとなった。 テストベッドの全現実世界のKGで有効性に応じて統計的に有意なランク付けを行う。
  論文  参考訳（メタデータ） (2022-03-17T12:11:58Z)
• Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary [65.37544133256499]
  質問回答(QA)を用いて要約内容の質を評価する指標を提案する。 提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
  論文  参考訳（メタデータ） (2020-10-01T15:33:09Z)
• Evaluation Metrics for Conditional Image Generation [100.69766435176557]
  クラス条件画像生成設定において生成モデルを評価するための2つの新しい指標を提案する。 理論的分析は、提案されたメトリクスの背景にあるモチベーションを示し、新しいメトリクスと条件のないメトリクスを結びつける。 我々は,実験的な評価を行い,その指標を条件のない変種や他の指標と比較し,既存の生成モデルの解析に利用した。
  論文  参考訳（メタデータ） (2020-04-26T12:15:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。