論文の概要: Towards Trustworthy Knowledge Graph Reasoning: An Uncertainty Aware Perspective

• arxiv url: http://arxiv.org/abs/2410.08985v1
• Date: Sun, 20 Oct 2024 19:35:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 20:46:27.886722
• Title: Towards Trustworthy Knowledge Graph Reasoning: An Uncertainty Aware Perspective
• Title（参考訳）: 信頼できる知識グラフ推論に向けて:不確実性に気付く視点
• Authors: Bo Ni, Yu Wang, Lu Cheng, Erik Blasch, Tyler Derr,
• Abstract要約: 我々は、新しい信頼できるKG-LLMフレームワーク、Uncertainty Aware Knowledge-Graph Reasoning (UAG)を提案する。 本研究では, 整合予測を利用した不確実性を考慮した多段階推論フレームワークを設計し, 予測セットに対する理論的保証を提供する。 提案するUAGは,予測セット/インターバルサイズを平均40%削減しながら,事前定義されたカバレッジ率を達成することができる。
• 参考スコア（独自算出の注目度）: 17.39302677990171
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Knowledge Graphs (KGs) have been successfully coupled with Large Language Models (LLMs) to mitigate their hallucinations and enhance their reasoning capability, such as in KG-based retrieval-augmented frameworks. However, current KG-LLM frameworks lack rigorous uncertainty estimation, limiting their reliable deployment in high-stakes applications. Directly incorporating uncertainty quantification into KG-LLM frameworks presents challenges due to their complex architectures and the intricate interactions between the knowledge graph and language model components. To address this gap, we propose a new trustworthy KG-LLM framework, Uncertainty Aware Knowledge-Graph Reasoning (UAG), which incorporates uncertainty quantification into the KG-LLM framework. We design an uncertainty-aware multi-step reasoning framework that leverages conformal prediction to provide a theoretical guarantee on the prediction set. To manage the error rate of the multi-step process, we additionally introduce an error rate control module to adjust the error rate within the individual components. Extensive experiments show that our proposed UAG can achieve any pre-defined coverage rate while reducing the prediction set/interval size by 40% on average over the baselines.
• Abstract（参考訳）: 近年、知識グラフ(KGs)はLarge Language Models(LLMs)とうまく結合して幻覚を緩和し、KGベースの検索強化フレームワークのような推論能力を高めている。 しかし、現在のKG-LLMフレームワークは厳密な不確実性評価を欠いている。 KG-LLMフレームワークに不確実な定量化を直接組み込むことは、複雑なアーキテクチャと知識グラフと言語モデルコンポーネント間の複雑な相互作用による課題を提起する。 このギャップに対処するために,不確実な定量化をKG-LLMフレームワークに組み込んだ,信頼性の高いKG-LLMフレームワークUncertainty Aware Knowledge-Graph Reasoning (UAG)を提案する。 本研究では, 整合予測を利用した不確実性を考慮した多段階推論フレームワークを設計し, 予測セットに対する理論的保証を提供する。 マルチステッププロセスのエラー率を管理するために,各コンポーネント内のエラー率を調整するエラー率制御モジュールを導入する。 以上の結果から,提案したUAGは,ベースライン平均で予測値/インターバルサイズを40%削減し,事前定義されたカバレッジ率を達成できることが示唆された。

関連論文リスト

• Quantifying calibration error in modern neural networks through evidence based theory [0.0]
  本稿では、予測エラー(ECE)の評価に主観的論理を組み込むことにより、ニューラルネットワークの信頼性を定量化する新しい枠組みを提案する。 我々は,MNISTおよびCIFAR-10データセットを用いた実験により,信頼性が向上したことを示す。 提案されたフレームワークは、医療や自律システムといったセンシティブな分野における潜在的な応用を含む、AIモデルのより解釈可能でニュアンスな評価を提供する。
  論文  参考訳（メタデータ） (2024-10-31T23:54:21Z)
• Can Knowledge Graphs Make Large Language Models More Trustworthy? An Empirical Study over Open-ended Question Answering [35.2451096137883]
  我々は、知識グラフ(KG)で強化された大規模言語モデル(LLM)を評価するために特別に設計された新しいベンチマークであるOKGQAを紹介する。 OKGQAは、様々なタイプの質問を使って実践的なアプリケーションの複雑さを深く反映するように設計されており、幻覚の減少と推論能力の強化の両方を測定するために特定のメトリクスを取り入れている。 また,KGのセマンティクスと構造が意図的に乱れ,汚染された場合のモデル性能を評価するためのOKGQA-Pを提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:29:21Z)
• ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees [68.33498595506941]
  自己整合性理論に基づく新しい不確実性尺度を導入する。 次に,CPアルゴリズムに正当性に整合した不確かさ条件を組み込むことにより,適合性不確かさの基準を策定する。 実証的な評価は、我々の不確実性測定が過去の最先端手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-06-29T17:33:07Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Uncertainty-Aware Relational Graph Neural Network for Few-Shot Knowledge Graph Completion [12.887073684904147]
  FKGC (Few-shot Knowledge Graph completion) は、少数の参照エンティティ対を考えると、関係の見えない事実を問うことを目的としている。 既存のFKGCの作業はそのような不確実性を無視しており、ノイズのある限られた参照サンプルの影響を受けやすい。 制約データをよりよく理解するために、不確実性をモデル化するための新しい不確実性対応数ショットKG補完フレームワーク(UFKGC)を提案する。
  論文  参考訳（メタデータ） (2024-03-07T14:23:25Z)
• Federated Knowledge Graph Completion via Latent Embedding Sharing and Tensor Factorization [51.286715478399515]
  FLEST(Federated Latent Embedding Factorization)は、KGの完全化にFederated Factorizationを用いた新しい手法である。 FLESTは埋め込み行列を分解し、潜伏辞書の埋め込みを共有することでプライバシーリスクを低減している。 実証的な結果はFLESTの有効性と効率を示し、パフォーマンスとプライバシのバランスのとれたソリューションを提供する。
  論文  参考訳（メタデータ） (2023-11-17T06:03:56Z)
• Normalizing Flow-based Neural Process for Few-Shot Knowledge Graph Completion [69.55700751102376]
  FKGC (Few-shot Knowledge Graph completion) は、失明した事実を、無意味な関連のある事実で予測することを目的としている。 既存のFKGC手法はメートル法学習やメタラーニングに基づいており、しばしば分布外や過度に適合する問題に悩まされる。 本稿では,数ショット知識グラフ補完(NP-FKGC)のためのフローベースニューラルプロセスの正規化を提案する。
  論文  参考訳（メタデータ） (2023-04-17T11:42:28Z)
• Lightweight, Uncertainty-Aware Conformalized Visual Odometry [2.429910016019183]
  データ駆動型ビジュアルオドメトリー(VO)は、自律エッジロボティクスにとって重要なサブルーチンである。 昆虫スケールドローンや外科ロボットのような最先端ロボットデバイスは、VOの予測の不確実性を推定する計算的に効率的な枠組みを欠いている。 本稿では,共形推論(CI)を利用してVOの不確実な帯域を抽出する,新しい,軽量で統計的に堅牢なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T20:37:55Z)
• Uncertainty in Extreme Multi-label Classification [81.14232824864787]
  eXtreme Multi-label Classification (XMC)は、Webスケールの機械学習アプリケーションにおいて、ビッグデータの時代において不可欠なタスクである。 本稿では,確率的アンサンブルに基づく木系XMCモデルの一般的な不確実性定量化手法について検討する。 特に,XMCにおけるラベルレベルおよびインスタンスレベルの不確実性を解析し,ビームサーチに基づく一般的な近似フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-18T20:54:33Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。