論文の概要: XplainLLM: A QA Explanation Dataset for Understanding LLM
Decision-Making
- arxiv url: http://arxiv.org/abs/2311.08614v1
- Date: Wed, 15 Nov 2023 00:34:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 17:37:30.360341
- Title: XplainLLM: A QA Explanation Dataset for Understanding LLM
Decision-Making
- Title(参考訳): XplainLLM: LLM意思決定を理解するためのQA説明データセット
- Authors: Zichen Chen, Jianda Chen, Mitali Gaidhani, Ambuj Singh, Misha Sra
- Abstract要約: 大規模言語モデル(LLM)は、最近、自然言語理解タスクにおいて顕著な進歩を遂げた。
本稿では、新しい説明データセットを導入することにより、このプロセスに透明性をもたらすことを検討する。
我々のデータセットには12,102のQAEトリプルが含まれている。
- 参考スコア(独自算出の注目度): 13.928951741632815
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have recently made impressive strides in natural
language understanding tasks. Despite their remarkable performance,
understanding their decision-making process remains a big challenge. In this
paper, we look into bringing some transparency to this process by introducing a
new explanation dataset for question answering (QA) tasks that integrates
knowledge graphs (KGs) in a novel way. Our dataset includes 12,102
question-answer-explanation (QAE) triples. Each explanation in the dataset
links the LLM's reasoning to entities and relations in the KGs. The explanation
component includes a why-choose explanation, a why-not-choose explanation, and
a set of reason-elements that underlie the LLM's decision. We leverage KGs and
graph attention networks (GAT) to find the reason-elements and transform them
into why-choose and why-not-choose explanations that are comprehensible to
humans. Through quantitative and qualitative evaluations, we demonstrate the
potential of our dataset to improve the in-context learning of LLMs, and
enhance their interpretability and explainability. Our work contributes to the
field of explainable AI by enabling a deeper understanding of the LLMs
decision-making process to make them more transparent and thereby, potentially
more reliable, to researchers and practitioners alike. Our dataset is available
at: https://github.com/chen-zichen/XplainLLM_dataset.git
- Abstract(参考訳): 大規模言語モデル(LLM)は、最近、自然言語理解タスクにおいて顕著な進歩を遂げた。
優れたパフォーマンスにもかかわらず、意思決定プロセスを理解することは依然として大きな課題です。
本稿では,知識グラフ(KG)を新しい方法で統合する質問応答(QA)タスクの新たな説明データセットを導入することにより,このプロセスに透明性を持たせることを検討する。
我々のデータセットには12,102のQAEトリプルが含まれている。
データセットのそれぞれの説明は、LCMの推論とKGの実体と関係を結びつけている。
説明コンポーネントには、理由選択説明、理由選択説明、LCMの決定を下す一連の理由要素が含まれている。
kgとグラフアテンションネットワーク(gat)を利用して、理性要素を見つけ、それを人間に理解しやすい why-choose と why-not-choose に変換します。
量的・質的評価を通じて,llmの文脈内学習を改善するためのデータセットの可能性を示し,その解釈性と説明可能性を高める。
我々の研究は、LLMの意思決定プロセスをより深く理解し、より透明性を高め、研究者や実践者にもより信頼性の高いものにすることで、説明可能なAIの分野に貢献します。
私たちのデータセットは、https://github.com/chen-zichen/XplainLLM_dataset.gitで利用可能です。
関連論文リスト
- Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with
Knowledge Graphs [55.05394799820403]
大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。
本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
論文 参考訳(メタデータ) (2024-02-17T05:22:56Z) - Large Language Models As Faithful Explainers [67.38301892818778]
大規模言語モデル(LLM)は近年,その豊富な内部知識と推論能力を活用することで,複雑なタスクに対処する技術に長けている。
我々は、LLMの自然言語形式で提供される説明の忠実性を改善するために、生成的説明フレームワークであるxLLMを導入する。
3つのNLUデータセットで行った実験により、xLLMは生成された説明の忠実性を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2024-02-07T09:09:14Z) - Learning to Generate Explainable Stock Predictions using Self-Reflective
Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。
反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。
我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文 参考訳(メタデータ) (2024-02-06T03:18:58Z) - keqing: knowledge-based question answering is a nature chain-of-thought
mentor of LLM [27.76205400533089]
大規模言語モデル(LLM)は様々な自然言語処理(NLP)タスク、特に質問応答において顕著な性能を示した。
本稿では,知識グラフ上の質問関連構造化情報を取得するために,ChatGPTなどのLLMを支援する新しいフレームワークを提案する。
KBQAデータセットの実験結果から,Keqingは競合性能を達成でき,各質問に答える論理を説明できることがわかった。
論文 参考訳(メタデータ) (2023-12-31T08:39:04Z) - CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。
ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
論文 参考訳(メタデータ) (2023-12-07T15:12:12Z) - Leveraging Structured Information for Explainable Multi-hop Question
Answering and Reasoning [14.219239732584368]
本研究では,マルチホップ質問応答のための抽出された意味構造(グラフ)の構築と活用について検討する。
実験結果と人的評価の結果から、我々のフレームワークはより忠実な推論連鎖を生成し、2つのベンチマークデータセットのQA性能を大幅に向上させる。
論文 参考訳(メタデータ) (2023-11-07T05:32:39Z) - Reason to explain: Interactive contrastive explanations (REASONX) [5.156484100374058]
制約論理プログラミング(CLP)に基づく説明ツールREASONXについて述べる。
REASONXは、背景知識によって拡張できる対話的な対照的な説明を提供する。
実例と論証的決定ルールを計算し、最も近い論証的な例を出力する。
論文 参考訳(メタデータ) (2023-05-29T15:13:46Z) - ExplainCPE: A Free-text Explanation Benchmark of Chinese Pharmacist
Examination [26.878606171228448]
既存の説明データセットは主に英語の一般的な知識に関する質問である。
有理性QAデータセットの生成における言語バイアスと医療資源の欠如に対処するために, ExplainCPEを提案する。
論文 参考訳(メタデータ) (2023-05-22T11:45:42Z) - Search-in-the-Chain: Interactively Enhancing Large Language Models with
Search for Knowledge-intensive Tasks [121.74957524305283]
本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。
実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
論文 参考訳(メタデータ) (2023-04-28T10:15:25Z) - LMExplainer: a Knowledge-Enhanced Explainer for Language Models [23.286843033345658]
GPT-4のような大規模言語モデル(LLM)は非常に強力であり、異なる種類の自然言語処理(NLP)タスクを処理できる。
言語モデル(LM)の動作の明確さと理解の欠如は、現実のシナリオで使用する上で、信頼できない、信頼できない、潜在的に危険なものにします。
本稿では,人間に理解可能な説明を提供する,知識を駆使したLMExplainerを提案する。
論文 参考訳(メタデータ) (2023-03-29T08:59:44Z) - Empowering Language Models with Knowledge Graph Reasoning for Question
Answering [117.79170629640525]
我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。
OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。
クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
論文 参考訳(メタデータ) (2022-11-15T18:26:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。