論文の概要: Faithful Knowledge Graph Explanations for Commonsense Reasoning
- arxiv url: http://arxiv.org/abs/2310.04910v3
- Date: Sat, 17 Feb 2024 14:35:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 05:34:40.906219
- Title: Faithful Knowledge Graph Explanations for Commonsense Reasoning
- Title（参考訳）: 常識推論のための忠実な知識グラフ説明
- Authors: Weihe Zhai, Arkaitz Zubiaga, Bingquan Liu, Chengjie Sun, Yalong Zhao
- Abstract要約: 現在のKGに基づく説明手法の大きな弱点の1つは、評価中の経路復号の忠実さを見渡すことである。
この監視により、元のモデル予測からしばしば分岐するグラフエンコーダの分布が導かれる。
本稿では,グラフエンコーダと対象モデルとを整合させて,その後の説明の忠実度を向上させる新しいアルゴリズムTeGDAを紹介する。
- 参考スコア（独自算出の注目度）: 13.064099546001627
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: While fusing language models and knowledge graphs has become common in
commonsense question answering research, enabling faithful chain-of-thought
explanations in these models remains an open problem. Our analysis reveals that
one major weakness of current KG-based explanation methodologies lies in
overlooking the faithfulness of path decoding during evaluation. This oversight
leads to the distribution of the graph encoder often diverging from the
original model predictions. To address this gap, we present two main
contributions: (1) We propose and validate Text-GNN Fidelity in this specific
context, to assess the reliability of the graph representation. (2) We
introduce TeGDA (Text-Graph Distribution-aware Alignment), a novel algorithm
that aligns the graph encoder with the target model to improve the faithfulness
of subsequent explanations and that can be easily integrated into existing
approaches. Our experiments and analysis show its potential to produce more
faithful systems. Concretely, our work emphasises the neglected distributional
misalignment problem in LM-KG reasoning models, which has been a latent source
of spurious explanations.
- Abstract（参考訳）: 言語モデルと知識グラフの融合は、常識的な質問応答研究で一般的になっているが、これらのモデルにおける忠実な連鎖説明を可能にすることは、未解決の問題である。
解析の結果、現在のKGに基づく説明手法の大きな弱点は、評価中の経路復号の忠実さを見越すことにあることがわかった。
この見落としにより、グラフエンコーダの分布はしばしば元のモデル予測から逸脱する。
このギャップに対処するため,1) グラフ表現の信頼性を評価するために, テキスト-GNN 忠実度をこの特定の文脈で提案し, 検証する。
2)TeGDA(Text-Graph Distribution-aware Alignment)は,グラフエンコーダを対象モデルと整列させて,その後の説明の忠実さを向上し,既存のアプローチに容易に統合できる新しいアルゴリズムである。
我々の実験と分析は、より忠実なシステムを生み出す可能性を示している。
具体的には, LM-KG推論モデルにおける分布の不整合問題に着目した。
関連論文リスト
- OCEAN: Offline Chain-of-thought Evaluation and Alignment in Large Language Models [68.17018458283651]
本研究は,LLMのチェーン・オブ・思想能力のオフライン評価に焦点をあてる。
我々は知識グラフ(例えばWikidata5m)を使って、生成された思考の連鎖に対するフィードバックを提供する。
提案手法に基づいてLCMを最適化する方法を示す。
論文 参考訳（メタデータ） (2024-10-31T07:48:44Z) - Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。
我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。
様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-10-24T04:01:40Z) - Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [83.28737898989694]
大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。
グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。
GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
論文 参考訳（メタデータ） (2024-10-16T22:55:17Z) - A Prompt-Based Knowledge Graph Foundation Model for Universal In-Context Reasoning [17.676185326247946]
そこで本研究では,テキスト内学習,すなわちKG-ICLを介し,プロンプトに基づくKGファウンデーションモデルを提案する。
クエリにおけるエンティティや関係を発見できないような一般化機能を備えたプロンプトグラフを符号化するために,まず統一トークン化器を提案する。
そこで我々は,プロンプトエンコーディングとKG推論を行う2つのメッセージパッシングニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2024-10-16T06:47:18Z) - Reasoning on Graphs: Faithful and Interpretable Large Language Model
Reasoning [104.92384929827776]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。
彼らは推論中に最新の知識と幻覚を欠いている。
知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
論文 参考訳（メタデータ） (2023-10-02T10:14:43Z) - Explainable Sparse Knowledge Graph Completion via High-order Graph
Reasoning Network [111.67744771462873]
本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。
高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。
情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
論文 参考訳（メタデータ） (2022-07-14T10:16:56Z) - DSKReG: Differentiable Sampling on Knowledge Graph for Recommendation
with Relational GNN [59.160401038969795]
我々は,GNN(DSKReG)を用いた推薦のための知識グラフの識別可能なサンプリングを提案する。
そこで本研究では,モデル学習手順と組み合わせて,関連する項目の選択を最適化する,識別可能なサンプリング戦略を考案する。
実験の結果,我々のモデルは最先端のKGベースのレコメンデータシステムよりも優れていた。
論文 参考訳（メタデータ） (2021-08-26T16:19:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。