論文の概要: XplainLLM: A QA Explanation Dataset for Understanding LLM Decision-Making

• arxiv url: http://arxiv.org/abs/2311.08614v1
• Date: Wed, 15 Nov 2023 00:34:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 17:37:30.360341
• Title: XplainLLM: A QA Explanation Dataset for Understanding LLM Decision-Making
• Title（参考訳）: XplainLLM: LLM意思決定を理解するためのQA説明データセット
• Authors: Zichen Chen, Jianda Chen, Mitali Gaidhani, Ambuj Singh, Misha Sra
• Abstract要約: 大規模言語モデル(LLM)は、最近、自然言語理解タスクにおいて顕著な進歩を遂げた。 本稿では、新しい説明データセットを導入することにより、このプロセスに透明性をもたらすことを検討する。 我々のデータセットには12,102のQAEトリプルが含まれている。
• 参考スコア（独自算出の注目度）: 13.928951741632815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have recently made impressive strides in natural language understanding tasks. Despite their remarkable performance, understanding their decision-making process remains a big challenge. In this paper, we look into bringing some transparency to this process by introducing a new explanation dataset for question answering (QA) tasks that integrates knowledge graphs (KGs) in a novel way. Our dataset includes 12,102 question-answer-explanation (QAE) triples. Each explanation in the dataset links the LLM's reasoning to entities and relations in the KGs. The explanation component includes a why-choose explanation, a why-not-choose explanation, and a set of reason-elements that underlie the LLM's decision. We leverage KGs and graph attention networks (GAT) to find the reason-elements and transform them into why-choose and why-not-choose explanations that are comprehensible to humans. Through quantitative and qualitative evaluations, we demonstrate the potential of our dataset to improve the in-context learning of LLMs, and enhance their interpretability and explainability. Our work contributes to the field of explainable AI by enabling a deeper understanding of the LLMs decision-making process to make them more transparent and thereby, potentially more reliable, to researchers and practitioners alike. Our dataset is available at: https://github.com/chen-zichen/XplainLLM_dataset.git
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、自然言語理解タスクにおいて顕著な進歩を遂げた。 優れたパフォーマンスにもかかわらず、意思決定プロセスを理解することは依然として大きな課題です。 本稿では,知識グラフ(KG)を新しい方法で統合する質問応答(QA)タスクの新たな説明データセットを導入することにより,このプロセスに透明性を持たせることを検討する。 我々のデータセットには12,102のQAEトリプルが含まれている。 データセットのそれぞれの説明は、LCMの推論とKGの実体と関係を結びつけている。 説明コンポーネントには、理由選択説明、理由選択説明、LCMの決定を下す一連の理由要素が含まれている。 kgとグラフアテンションネットワーク(gat)を利用して、理性要素を見つけ、それを人間に理解しやすい why-choose と why-not-choose に変換します。 量的・質的評価を通じて,llmの文脈内学習を改善するためのデータセットの可能性を示し,その解釈性と説明可能性を高める。 我々の研究は、LLMの意思決定プロセスをより深く理解し、より透明性を高め、研究者や実践者にもより信頼性の高いものにすることで、説明可能なAIの分野に貢献します。 私たちのデータセットは、https://github.com/chen-zichen/XplainLLM_dataset.gitで利用可能です。

関連論文リスト

• Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
  大規模言語モデル(LLM)のグラフ推論能力に着目する。 グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。 この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-18T16:26:39Z)
• Reasoning with Large Language Models, a Survey [2.831296564800826]
  本稿では,LSMによるプロンプトベース推論の急速に進展する分野について概説する。 我々の分類学は、多段階推論の生成、評価、制御の異なる方法を特定します。 我々は, 自己改善, 自己回帰, 推論過程のいくつかのメタ能力が, プロンプトの司法的利用によって可能であることを発見した。
  論文  参考訳（メタデータ） (2024-07-16T08:49:35Z)
• Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
  大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。 本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T05:22:56Z)
• FaithLM: Towards Faithful Explanations for Large Language Models [67.29893340289779]
  大きな言語モデル(LLM)は、内部知識と推論能力を活用することで複雑なタスクに対処するのに熟練している。 これらのモデルのブラックボックスの性質は、意思決定プロセスを説明するタスクを複雑にしている。 自然言語 (NL) による LLM の決定を説明するために FaithLM を紹介した。
  論文  参考訳（メタデータ） (2024-02-07T09:09:14Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• Leveraging Structured Information for Explainable Multi-hop Question Answering and Reasoning [14.219239732584368]
  本研究では,マルチホップ質問応答のための抽出された意味構造(グラフ)の構築と活用について検討する。 実験結果と人的評価の結果から、我々のフレームワークはより忠実な推論連鎖を生成し、2つのベンチマークデータセットのQA性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-07T05:32:39Z)
• ExplainCPE: A Free-text Explanation Benchmark of Chinese Pharmacist Examination [26.878606171228448]
  既存の説明データセットは主に英語の一般的な知識に関する質問である。 有理性QAデータセットの生成における言語バイアスと医療資源の欠如に対処するために, ExplainCPEを提案する。
  論文  参考訳（メタデータ） (2023-05-22T11:45:42Z)
• Search-in-the-Chain: Interactively Enhancing Large Language Models with Search for Knowledge-intensive Tasks [121.74957524305283]
  本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。 実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-04-28T10:15:25Z)
• LMExplainer: Grounding Knowledge and Explaining Language Models [37.578973458651944]
  GPT-4のような言語モデル(LM)は、AIアプリケーションにおいて重要であるが、不透明な意思決定プロセスは、特に安全クリティカルな領域において、ユーザの信頼を低下させる。 LMExplainerは,人間の直感的,理解可能な説明を通じて,LMの推論過程を明らかにする新しい知識基盤説明器である。
  論文  参考訳（メタデータ） (2023-03-29T08:59:44Z)
• Empowering Language Models with Knowledge Graph Reasoning for Question Answering [117.79170629640525]
  我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。 OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。 クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
  論文  参考訳（メタデータ） (2022-11-15T18:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。