論文の概要: Knowledge Graph Quality Evaluation under Incomplete Information
- arxiv url: http://arxiv.org/abs/2212.00994v1
- Date: Fri, 2 Dec 2022 06:12:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 16:40:34.374216
- Title: Knowledge Graph Quality Evaluation under Incomplete Information
- Title(参考訳): 不完全情報に基づく知識グラフの品質評価
- Authors: Xiaodong Li, Chenxin Zou, Yi Cai, Yuelong Zhu
- Abstract要約: 不完全情報に基づく知識グラフ品質評価フレームワーク(QEII)を提案する。
品質評価問題を敵ゲームに変換し、勝者と敗者に応じて相対的な品質を評価する。
2組のKGの実験結果から、QEIIは、第三者評価者の観点から、合理的な品質評価を実現することが示された。
- 参考スコア(独自算出の注目度): 9.48089663504665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Utilities of knowledge graphs (KGs) depend on their qualities. A KG that is
of poor quality not only has little applicability but also leads to some
unexpected errors. Therefore, quality evaluation for KGs is crucial and
indispensable. Existing methods design many quality dimensions and calculate
metrics in the corresponding dimensions based on details (i.e., raw data and
graph structures) of KGs for evaluation. However, there are two major issues.
On one hand, they consider the details as public information, which exposes the
raw data and graph structures. These details are strictly confidential because
they involve commercial privacy or others in practice. On the other hand, the
existing methods focus on how much knowledge KGs have rather than KGs'
practicability. To address the above problems, we propose a knowledge graph
quality evaluation framework under incomplete information (QEII). The quality
evaluation problem is transformed into an adversarial game, and the relative
quality is evaluated according to the winner and loser. Participants of the
game are KGs, and the adversarial gameplay is to question and answer (Q&A). In
the QEII, we generate and train a question model and an answer model for each
KG. The question model of a KG first asks a certain number of questions to the
other KG. Then it evaluates the answers returned by the answer model of the
other KG and outputs a percentage score. The relative quality is evaluated by
the scores, which measures the ability to apply knowledge. Q&A messages are the
only information that KGs exchange, without exposing any raw data and graph
structure. Experimental results on two pairs of KGs demonstrate that, comparing
with baselines, the QEII realizes a reasonable quality evaluation from the
perspective of third-party evaluators under incomplete information.
- Abstract(参考訳): 知識グラフ(KG)の効用はその性質に依存する。
品質の悪いKGは、適用性が少ないだけでなく、予期せぬエラーを引き起こす。
したがって、kgsの品質評価は重要かつ不可欠である。
既存の手法は、多くの品質次元を設計し、評価のためにKGの詳細(生データやグラフ構造)に基づいて対応する次元のメトリクスを計算する。
しかし、2つの大きな問題がある。
一方で、詳細を公開情報として捉え、生のデータとグラフ構造を公開している。
これらの詳細は、商業的プライバシ等を実際に含んでいるため、厳密である。
一方、既存の手法は、KGsの実践性よりもKGsの知識の量に焦点を当てている。
上記の問題に対処するため,不完全情報(QEII)に基づく知識グラフ品質評価フレームワークを提案する。
品質評価問題を敵ゲームに変換し、勝者と敗者に応じて相対的な品質を評価する。
ゲーム参加者はkgであり、敵対的なゲームプレイは質問と回答(q&a)である。
QEIIでは、各KGに対して質問モデルと回答モデルを生成し、訓練する。
kg の質問モデルは、まず、ある数の質問を他の kg に尋ねる。
そして、他のKGの回答モデルによって返される回答を評価し、パーセンテージスコアを出力する。
相対的品質は、知識を適用する能力を測定するスコアによって評価される。
Q&Aメッセージは、生のデータやグラフ構造を公開せずに、KGが交換する唯一の情報である。
2組のKGの実験結果から、QEIIはベースラインと比較して、不完全な情報の下での第三者評価者の観点から合理的な品質評価を実現することを示した。
関連論文リスト
- Towards Explainable In-the-Wild Video Quality Assessment: A Database and
a Language-Prompted Approach [52.07084862209754]
われわれは、13次元の質関連因子に関する4,543本のビデオについて200万以上の意見を集めている。
具体的には、各次元に対して正、負、中立の選択をラベル付けするよう被験者に求める。
これらの説明レベルの意見は、特定の品質要因と抽象的な主観的品質評価の関係を測ることができる。
論文 参考訳(メタデータ) (2023-05-22T05:20:23Z) - Evaluating the Knowledge Dependency of Questions [12.25396414711877]
知識依存解答法(KDA)を考案した新しい自動評価指標を提案する。
まず,人的調査から得られた学生の回答に基づいて,KDAの測定方法を示す。
そこで本研究では,学生の問題解決行動を模倣するために,事前学習言語モデルを活用することで,KDAを近似した2つの自動評価指標KDA_discとKDA_contを提案する。
論文 参考訳(メタデータ) (2022-11-21T23:08:30Z) - Knowledge Graph Curation: A Practical Framework [0.0]
そこで本研究では,KGの品質向上のための知識グラフキュレーションフレームワークを提案する。
まず、KGsの状態を評価するための品質指標のセットを定義する。
次に, クリーニング作業としてKGの検証と検証を行う。
第3に,KGの濃縮のための重複検出と知識融合戦略を提案する。
論文 参考訳(メタデータ) (2022-08-17T07:55:28Z) - Knowledge Graph Question Answering Leaderboard: A Community Resource to
Prevent a Replication Crisis [61.740077541531726]
コミュニティの焦点として、KGQAベンチマークデータセットに対して、新たな中心的でオープンなリーダボードを提供しています。
本分析は,KGQAシステムの評価において,既存の問題点を浮き彫りにする。
論文 参考訳(メタデータ) (2022-01-20T13:46:01Z) - How Knowledge Graph and Attention Help? A Quantitative Analysis into
Bag-level Relation Extraction [66.09605613944201]
バッグレベルの関係抽出(RE)における注意と知識グラフの効果を定量的に評価する。
その結果,(1)注目精度の向上は,エンティティ参照特徴を抽出するモデルの性能を損なう可能性があること,(2)注目性能は様々なノイズ分布パターンの影響が大きいこと,(3)KG強化された注目はRE性能を向上するが,その効果は注目度を向上させるだけでなく,先行するエンティティを組み込むことによっても改善することがわかった。
論文 参考訳(メタデータ) (2021-07-26T09:38:28Z) - Identify, Align, and Integrate: Matching Knowledge Graphs to Commonsense
Reasoning Tasks [81.03233931066009]
与えられたタスクの目的に整合した知識グラフ(KG)を選択することは重要である。
候補者KGがタスクの推論のギャップを正しく識別し、正確に埋めることができるかを評価するアプローチを示す。
このkg-to-taskマッチングを,知識-タスク識別,知識-タスクアライメント,知識-タスク統合という3つのフェーズで示す。
論文 参考訳(メタデータ) (2021-04-20T18:23:45Z) - QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question
Answering [122.84513233992422]
学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。
既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
論文 参考訳(メタデータ) (2021-04-13T17:32:51Z) - Comprehensive evaluation of no-reference image quality assessment
algorithms on authentic distortions [0.0]
非参照画像品質評価は、所定の入力画像の品質を、そのプリスタント(歪みフリー)に関する知識や情報なしで予測する。
本研究では,複数の機械学習に基づくNR-IQA法と,真の歪みを含むデータベース上での1つの評価方法について検討する。
論文 参考訳(メタデータ) (2020-10-26T21:25:46Z) - Object-QA: Towards High Reliable Object Quality Assessment [71.71188284059203]
オブジェクト認識アプリケーションでは、オブジェクトイメージは通常、異なる品質レベルで表示される。
本稿では,オブジェクト画像の信頼性の高い品質スコアを評価するために,Object-QAという効果的手法を提案する。
論文 参考訳(メタデータ) (2020-05-27T01:46:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。