論文の概要: KGxBoard: Explainable and Interactive Leaderboard for Evaluation of
Knowledge Graph Completion Models
- arxiv url: http://arxiv.org/abs/2208.11024v1
- Date: Tue, 23 Aug 2022 15:11:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-24 13:07:56.830436
- Title: KGxBoard: Explainable and Interactive Leaderboard for Evaluation of
Knowledge Graph Completion Models
- Title（参考訳）: kgxboard: ナレッジグラフ補完モデル評価のための説明可能かつインタラクティブなリーダボード
- Authors: Haris Widjaja, Kiril Gashteovski, Wiem Ben Rim, Pengfei Liu,
Christopher Malon, Daniel Ruffinelli, Carolin Lawrence, Graham Neubig
- Abstract要約: KGxBoardは、データの意味のあるサブセットを詳細に評価するためのインタラクティブなフレームワークである。
実験では,KGxBoardを用いることで,標準平均シングルスコアメトリクスでは検出が不可能であったことを強調した。
- 参考スコア（独自算出の注目度）: 76.01814380927507
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge Graphs (KGs) store information in the form of (head, predicate,
tail)-triples. To augment KGs with new knowledge, researchers proposed models
for KG Completion (KGC) tasks such as link prediction; i.e., answering (h; p;
?) or (?; p; t) queries. Such models are usually evaluated with averaged
metrics on a held-out test set. While useful for tracking progress, averaged
single-score metrics cannot reveal what exactly a model has learned -- or
failed to learn. To address this issue, we propose KGxBoard: an interactive
framework for performing fine-grained evaluation on meaningful subsets of the
data, each of which tests individual and interpretable capabilities of a KGC
model. In our experiments, we highlight the findings that we discovered with
the use of KGxBoard, which would have been impossible to detect with standard
averaged single-score metrics.
- Abstract（参考訳）: 知識グラフ (kgs) は情報を (head, predicate, tail)-triples という形式で格納する。
新しい知識でKGを増強するために、研究者はリンク予測(英語版)や (h; p; ?) または (?; p; t) クエリなどの KG Completion (KGC) タスクのモデルを提案した。
このようなモデルは通常、ホールドアウトテストセットで平均値で評価される。
進捗を追跡するのに有用だが、平均的なシングルスコアメトリクスでは、モデルが正確に何を学んだか、あるいは学習に失敗したかを明らかにすることはできない。
この問題を解決するために、KGxBoardを提案する。KGCモデルの個別かつ解釈可能な機能をテストする、データの有意義な部分集合を詳細に評価する対話型フレームワークである。
実験では,標準平均single-scoreメトリクスでは検出不可能であったkgxboardを用いて発見した知見を強調する。
関連論文リスト
- Exploiting Large Language Models Capabilities for Question Answer-Driven Knowledge Graph Completion Across Static and Temporal Domains [8.472388165833292]
本稿では,GS-KGC(Generative Subgraph-based KGC)と呼ばれる新しい生成完了フレームワークを提案する。
GS-KGCは、ターゲットエンティティを直接生成するために質問応答形式を採用し、複数の可能な答えを持つ質問の課題に対処する。
本手法は,新たな情報発見を容易にするために,既知の事実を用いて負のサンプルを生成する。
論文 参考訳（メタデータ） (2024-08-20T13:13:41Z) - Knowledge Graph Completion using Structural and Textual Embeddings [0.0]
本稿では,知識グラフ内のテキスト情報と構造情報の両方を利用する関係予測モデルを提案する。
本手法では,歩行に基づく埋め込みと言語モデル埋め込みを統合し,ノードを効果的に表現する。
本研究では,広く利用されているデータセットで評価した場合,関係予測タスクにおける競合結果が得られたことを実証する。
論文 参考訳（メタデータ） (2024-04-24T21:04:14Z) - Revisiting Inferential Benchmarks for Knowledge Graph Completion [29.39724559354927]
知識グラフ(KG)補完のための機械学習アプローチの主な特徴は、推論パターンを学習する能力である。
標準補完ベンチマークは、パターンを学習するモデルの能力を評価するのに適していない。
以下の原理に基づいて,KG完了ベンチマークを設計するための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-07T22:35:39Z) - GreenKGC: A Lightweight Knowledge Graph Completion Method [32.528770408502396]
GreenKGCは、知識グラフ内のエンティティ間の欠落した関係を見つけることを目的としている。
表現学習、特徴抽出、決定学習の3つのモジュールで構成されている。
低次元では、GreenKGCはほとんどのデータセットでSOTAメソッドより優れている。
論文 参考訳（メタデータ） (2022-08-19T03:33:45Z) - A Graph-Enhanced Click Model for Web Search [67.27218481132185]
ウェブ検索のための新しいグラフ強調クリックモデル(GraphCM)を提案する。
セッション内情報とセッション間情報の両方を、スパーシリティ問題とコールドスタート問題に活用する。
論文 参考訳（メタデータ） (2022-06-17T08:32:43Z) - Sequence-to-Sequence Knowledge Graph Completion and Question Answering [8.207403859762044]
既製のエンコーダ・デコーダ変換器モデルは,スケーラブルで汎用的なKGEモデルとして機能することを示す。
我々は,KGリンク予測をシーケンス・ツー・シーケンス・タスクとして用い,従来のKGE手法による3つのスコアリングアプローチを自己回帰復号化と交換することで,これを実現する。
論文 参考訳（メタデータ） (2022-03-19T13:01:49Z) - Knowledge Graph Question Answering Leaderboard: A Community Resource to
Prevent a Replication Crisis [61.740077541531726]
コミュニティの焦点として、KGQAベンチマークデータセットに対して、新たな中心的でオープンなリーダボードを提供しています。
本分析は,KGQAシステムの評価において,既存の問題点を浮き彫りにする。
論文 参考訳（メタデータ） (2022-01-20T13:46:01Z) - Learning Intents behind Interactions with Knowledge Graph for
Recommendation [93.08709357435991]
知識グラフ(KG)は、推薦システムにおいてますます重要な役割を果たす。
既存のGNNベースのモデルは、きめ細かいインテントレベルでのユーザ項目関係の特定に失敗します。
本稿では,新しいモデルである知識グラフベースインテントネットワーク(kgin)を提案する。
論文 参考訳（メタデータ） (2021-02-14T03:21:36Z) - KACC: A Multi-task Benchmark for Knowledge Abstraction, Concretization
and Completion [99.47414073164656]
包括的知識グラフ(KG)は、インスタンスレベルのエンティティグラフとオントロジーレベルの概念グラフを含む。
2ビューのKGは、知識の抽象化、包括化、完成に関する人間の能力を「シミュレーション」するためのモデルのためのテストベッドを提供する。
我々は,データセットのスケール,タスクカバレッジ,難易度の観点から,既存のベンチマークを改善した統一KGベンチマークを提案する。
論文 参考訳（メタデータ） (2020-04-28T16:21:57Z) - Toward Subgraph-Guided Knowledge Graph Question Generation with Graph
Neural Networks [53.58077686470096]
知識グラフ(KG)質問生成(QG)は,KGから自然言語質問を生成することを目的とする。
本研究は,KGサブグラフから質問を生成し,回答をターゲットとする,より現実的な環境に焦点を当てる。
論文 参考訳（メタデータ） (2020-04-13T15:43:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。