論文の概要: KGrEaT: A Framework to Evaluate Knowledge Graphs via Downstream Tasks
- arxiv url: http://arxiv.org/abs/2308.10537v1
- Date: Mon, 21 Aug 2023 07:43:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 14:28:20.250386
- Title: KGrEaT: A Framework to Evaluate Knowledge Graphs via Downstream Tasks
- Title(参考訳): kgreat: ダウンストリームタスクを通じて知識グラフを評価するフレームワーク
- Authors: Nicolas Heist, Sven Hertling, Heiko Paulheim
- Abstract要約: KGrEaTは、分類、クラスタリング、レコメンデーションといった実際の下流タスクを通じて知識グラフの品質を推定するフレームワークである。
フレームワークは知識グラフを入力として、評価対象のデータセットに自動的にマップし、定義されたタスクのパフォーマンスメトリクスを計算する。
- 参考スコア(独自算出の注目度): 1.8722948221596285
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In recent years, countless research papers have addressed the topics of
knowledge graph creation, extension, or completion in order to create knowledge
graphs that are larger, more correct, or more diverse. This research is
typically motivated by the argumentation that using such enhanced knowledge
graphs to solve downstream tasks will improve performance. Nonetheless, this is
hardly ever evaluated. Instead, the predominant evaluation metrics - aiming at
correctness and completeness - are undoubtedly valuable but fail to capture the
complete picture, i.e., how useful the created or enhanced knowledge graph
actually is. Further, the accessibility of such a knowledge graph is rarely
considered (e.g., whether it contains expressive labels, descriptions, and
sufficient context information to link textual mentions to the entities of the
knowledge graph). To better judge how well knowledge graphs perform on actual
tasks, we present KGrEaT - a framework to estimate the quality of knowledge
graphs via actual downstream tasks like classification, clustering, or
recommendation. Instead of comparing different methods of processing knowledge
graphs with respect to a single task, the purpose of KGrEaT is to compare
various knowledge graphs as such by evaluating them on a fixed task setup. The
framework takes a knowledge graph as input, automatically maps it to the
datasets to be evaluated on, and computes performance metrics for the defined
tasks. It is built in a modular way to be easily extendable with additional
tasks and datasets.
- Abstract(参考訳): 近年、無数の研究論文が知識グラフの作成、拡張、あるいは完成に関するトピックに対処して、より大きく、より正しい、より多様な知識グラフを作成している。
この研究は典型的に、下流の課題を解決するために知識グラフを改良することで性能が向上するという議論に動機付けられている。
しかし、これはほとんど評価されていない。
むしろ、正確さと完全性を目指す主要な評価指標は、間違いなく価値があるが、全体像、すなわち、作成または強化された知識グラフが実際にどれほど有用であるかを捉えていない。
さらに、そのような知識グラフのアクセシビリティはめったに考慮されない(例えば、表現的なラベル、記述、知識グラフのエンティティにテキスト参照をリンクするための十分なコンテキスト情報を含むかどうかなど)。
知識グラフが実際のタスクでどのようにうまく機能するかを判断するために、kgreat - 分類、クラスタリング、推奨といった実際の下流タスクを通じて知識グラフの品質を見積もるフレームワークです。
KGrEaTの目的は,1つのタスクに対して異なる知識グラフの処理方法を比較するのではなく,各知識グラフを一定のタスク設定で評価することにある。
フレームワークは知識グラフを入力として、評価対象のデータセットに自動的にマップし、定義されたタスクのパフォーマンスメトリクスを計算する。
モジュール的な方法で構築され、追加のタスクやデータセットで簡単に拡張できる。
関連論文リスト
- Class Granularity: How richly does your knowledge graph represent the real world? [0.27309692684728604]
オープングラニュラリティ(Open Granularity, Open Granularity)と呼ばれる新しい指標を提案する。
さらに,本研究では,知識グラフにおけるオープングラニュラリティが下流タスクに与える影響について検討した。
論文 参考訳(メタデータ) (2024-11-10T07:57:39Z) - G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。
一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。
G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
論文 参考訳(メタデータ) (2024-02-12T13:13:04Z) - State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。
グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。
ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文 参考訳(メタデータ) (2023-01-14T09:15:49Z) - Joint Language Semantic and Structure Embedding for Knowledge Graph
Completion [66.15933600765835]
本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。
本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。
各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
論文 参考訳(メタデータ) (2022-09-19T02:41:02Z) - A Survey on Visual Transfer Learning using Knowledge Graphs [0.8701566919381223]
本調査は知識グラフ(KG)を用いた視覚伝達学習手法に焦点を当てる。
KGは、基礎となるグラフ構造化スキーマやベクトルベースの知識グラフの埋め込みにおいて補助的な知識を表現することができる。
本稿では,知識グラフの埋め込み手法の概要を概説し,それらを高次元の視覚的埋め込みと組み合わせた共同学習の目的について述べる。
論文 参考訳(メタデータ) (2022-01-27T20:19:55Z) - Conditional Attention Networks for Distilling Knowledge Graphs in
Recommendation [74.14009444678031]
本稿では,知識グラフをレコメンデーションシステムに組み込むために,知識対応コンディショナルアテンションネットワーク(KCAN)を提案する。
本研究では,まず,ユーザ・イテムネットワークとナレッジグラフのグローバルな意味的類似性を捉えるノード表現を得る。
そして,そのサブグラフに条件付きアテンションアグリゲーションを適用することで,その知識グラフを改良し,目標固有ノード表現を得る。
論文 参考訳(メタデータ) (2021-11-03T09:40:43Z) - GCNBoost: Artwork Classification by Label Propagation through a
Knowledge Graph [32.129005474301735]
文脈情報はしばしば、そのような現実世界のデータを構成する鍵であり、知識グラフの形で使用することを提案する。
本稿では,注釈付きデータと擬似ラベル付きデータに基づいて構築された知識グラフの新たな利用法を提案する。
ラベルの伝搬により、グラフ畳み込みネットワークを用いてモデルを訓練することにより、アートワークの分類を向上する。
論文 参考訳(メタデータ) (2021-05-25T11:50:05Z) - Edge: Enriching Knowledge Graph Embeddings with External Text [32.01476220906261]
We propose a knowledge graph enrichment and embedded framework named Edge。
元の知識グラフが与えられたら、まず、セマンティックおよび構造レベルで外部テキストを使用してリッチだがノイズの多い拡張グラフを生成する。
関連する知識を抽出し,導入した雑音を抑制するため,元のグラフと拡張グラフとの共有埋め込み空間におけるグラフアライメント項を設計する。
論文 参考訳(メタデータ) (2021-04-11T03:47:06Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳(メタデータ) (2020-04-29T14:22:42Z) - A Survey of Adversarial Learning on Graphs [59.21341359399431]
本稿では,グラフ逆学習タスクに関する既存の研究を考察し,要約する。
具体的には、グラフ解析タスクにおける攻撃と防御に関する既存の作業を調査し、統一する。
我々は、関連する評価指標の重要性を強調し、それらを総合的に調査し、要約する。
論文 参考訳(メタデータ) (2020-03-10T12:48:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。