論文の概要: Evaluating the Calibration of Knowledge Graph Embeddings for Trustworthy Link Prediction

• arxiv url: http://arxiv.org/abs/2004.01168v3
• Date: Tue, 6 Oct 2020 09:31:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 09:29:56.232061
• Title: Evaluating the Calibration of Knowledge Graph Embeddings for Trustworthy Link Prediction
• Title（参考訳）: 信頼できるリンク予測のための知識グラフ埋め込みの校正評価
• Authors: Tara Safavi, Danai Koutra, Edgar Meij
• Abstract要約: 知識グラフ埋め込み(KGE)モデルによる予測の信頼性について検討する。 我々はまず、知識グラフに存在しない予測三重項が偽であるとして、標準閉世界仮定(CWA)に基づいて評価を行う。 次に、より現実的で挑戦的なオープンワールド仮定(OWA)を導入する。
• 参考スコア（独自算出の注目度）: 16.553439385317876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Little is known about the trustworthiness of predictions made by knowledge graph embedding (KGE) models. In this paper we take initial steps toward this direction by investigating the calibration of KGE models, or the extent to which they output confidence scores that reflect the expected correctness of predicted knowledge graph triples. We first conduct an evaluation under the standard closed-world assumption (CWA), in which predicted triples not already in the knowledge graph are considered false, and show that existing calibration techniques are effective for KGE under this common but narrow assumption. Next, we introduce the more realistic but challenging open-world assumption (OWA), in which unobserved predictions are not considered true or false until ground-truth labels are obtained. Here, we show that existing calibration techniques are much less effective under the OWA than the CWA, and provide explanations for this discrepancy. Finally, to motivate the utility of calibration for KGE from a practitioner's perspective, we conduct a unique case study of human-AI collaboration, showing that calibrated predictions can improve human performance in a knowledge graph completion task.
• Abstract（参考訳）: 知識グラフ埋め込み(KGE)モデルによる予測の信頼性についてはほとんど分かっていない。 本稿では,KGEモデルのキャリブレーションや,予測知識グラフの予測正しさを反映した信頼度スコアを出力する程度を調査することで,この方向に向けた最初の一歩を踏み出す。 我々はまず、知識グラフに存在しない予測三重項を偽とみなす標準的なクローズドワールド仮定(CWA)に基づいて評価を行い、この一般的だが狭い仮定の下で既存のキャリブレーション手法がKGEに有効であることを示す。 次に、より現実的で挑戦的なopen-world assumption(owa)を紹介し、観測されていない予測は、接地ラベルが得られるまで真あるいは偽と見なされない。 ここでは,既存のキャリブレーション手法はCWAよりもOWAの方がはるかに効果的であることを示し,その相違点を説明する。 最後に,KGEのキャリブレーションを実践者の視点で活用するために,我々は,知識グラフ完成タスクにおいて,キャリブレーションされた予測が人間のパフォーマンスを向上させることを示す,人間とAIのコラボレーションのユニークなケーススタディを行う。

関連論文リスト

• Selective Temporal Knowledge Graph Reasoning [70.11788354442218]
  時間的知識グラフ(TKG)は、与えられた歴史的事実に基づいて将来の事実を予測することを目的としている。 既存のTKG推論モデルは、不確実な予測を控えることができない。 本稿では,既存のモデルが無差別な予測ではなく選択的に行うのに役立つ,TKG推論の棄却機構を提案する。
  論文  参考訳（メタデータ） (2024-04-02T06:56:21Z)
• Counterfactual Reasoning with Knowledge Graph Embeddings [3.6311338398148534]
  知識グラフ埋め込み (KGEs) は、本来は事実を推測するために開発されたが、未完成の知識リポジトリに欠けている事実を推測するために開発された。 本稿では,知識グラフの補完と,新たなタスクCFKGRによる反実的推論をリンクする。
  論文  参考訳（メタデータ） (2024-03-11T17:21:39Z)
• KGEx: Explaining Knowledge Graph Embeddings via Subgraph Sampling and Knowledge Distillation [6.332573781489264]
  我々は、代理モデル研究からインスピレーションを得て、個々のリンク予測を説明する新しい方法であるKGExを提案する。 予測対象の三重項が与えられた場合、KGExは重要な三重項を特定するために使用するKGEモデルをシュロゲートする。 我々は、KGExがブラックボックスモデルに忠実な説明を提供することができることを示すために、2つの公開データセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2023-10-02T10:20:24Z)
• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• CausE: Towards Causal Knowledge Graph Embedding [13.016173217017597]
  知識グラフ埋め込み(KGE)は、知識グラフ(KG)の連続ベクトル空間への実体と関係を表現することに焦点を当てている。 我々はKGEの新しいパラダイムを因果関係と非絡み込みの文脈で構築する。 本稿では,CausE(Causality Enhanced Knowledge Graph Embedding)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T14:25:39Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• CAKE: A Scalable Commonsense-Aware Framework For Multi-View Knowledge Graph Completion [43.172893405453266]
  従来の知識グラフの埋め込み技術は、不正なネガティブサンプリングとファクトビューリンク予測の不確実性に悩まされている。 本稿では,現実の3重項から実体概念を自動抽出する,新規でスケーラブルなCommonsense-Aware Knowledge Embedding (CAKE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-25T03:30:22Z)
• Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
  ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。 本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。 ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
  論文  参考訳（メタデータ） (2021-12-15T15:17:02Z)
• Incorporating Causal Graphical Prior Knowledge into Predictive Modeling via Simple Data Augmentation [92.96204497841032]
  因果グラフ(CG)は、データ分散の背後にあるデータ生成プロセスの知識のコンパクトな表現である。 本研究では,条件付き独立性(CI)関係の事前知識を活用可能なモデルに依存しないデータ拡張手法を提案する。 本手法は,小データシステムにおける予測精度の向上に有効であることを実験的に示した。
  論文  参考訳（メタデータ） (2021-02-27T06:13:59Z)
• RelWalk A Latent Variable Model Approach to Knowledge Graph Embedding [50.010601631982425]
  本稿では,単語埋め込みのランダムウォークモデル(Arora et al., 2016a)を知識グラフ埋め込み(KGE)に拡張する。 二つの実体 h (head) と t (tail) の間の関係 R の強さを評価するスコア関数を導出する。 理論的解析によって動機付けられた学習目標を提案し,知識グラフからKGEを学習する。
  論文  参考訳（メタデータ） (2021-01-25T13:31:29Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。