論文の概要: Leveraging Structured Information for Explainable Multi-hop Question
Answering and Reasoning
- arxiv url: http://arxiv.org/abs/2311.03734v1
- Date: Tue, 7 Nov 2023 05:32:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 16:51:29.686447
- Title: Leveraging Structured Information for Explainable Multi-hop Question
Answering and Reasoning
- Title(参考訳): 説明可能なマルチホップ質問応答と推論のための構造化情報の活用
- Authors: Ruosen Li, Xinya Du
- Abstract要約: 本研究では,マルチホップ質問応答のための抽出された意味構造(グラフ)の構築と活用について検討する。
実験結果と人的評価の結果から、我々のフレームワークはより忠実な推論連鎖を生成し、2つのベンチマークデータセットのQA性能を大幅に向上させる。
- 参考スコア(独自算出の注目度): 14.219239732584368
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural models, including large language models (LLMs), achieve superior
performance on multi-hop question-answering. To elicit reasoning capabilities
from LLMs, recent works propose using the chain-of-thought (CoT) mechanism to
generate both the reasoning chain and the answer, which enhances the model's
capabilities in conducting multi-hop reasoning. However, several challenges
still remain: such as struggling with inaccurate reasoning, hallucinations, and
lack of interpretability. On the other hand, information extraction (IE)
identifies entities, relations, and events grounded to the text. The extracted
structured information can be easily interpreted by humans and machines
(Grishman, 2019). In this work, we investigate constructing and leveraging
extracted semantic structures (graphs) for multi-hop question answering,
especially the reasoning process. Empirical results and human evaluations show
that our framework: generates more faithful reasoning chains and substantially
improves the QA performance on two benchmark datasets. Moreover, the extracted
structures themselves naturally provide grounded explanations that are
preferred by humans, as compared to the generated reasoning chains and
saliency-based explanations.
- Abstract(参考訳): 大規模言語モデル(llm)を含むニューラルモデルは、マルチホップ質問応答において優れた性能を達成する。
LLMから推論能力を引き出すため、近年の研究では、推論チェーンと応答の両方を生成するためのチェーン・オブ・シント(CoT)機構が提案されており、マルチホップ推論を行う際のモデルの能力を高めている。
しかし、不正確な推論、幻覚、解釈可能性の欠如など、いくつかの課題が残っている。
一方、情報抽出(IE)は、テキストに基づいてエンティティ、関係、イベントを識別する。
抽出された構造化情報は人や機械で容易に解釈できる(Grishman, 2019)。
本研究では,抽出した意味構造(graphs)を多面的質問応答,特に推論プロセスのために構築し,活用することを検討する。
実験結果と人的評価の結果から、我々のフレームワークはより忠実な推論連鎖を生成し、2つのベンチマークデータセットのQA性能を大幅に向上させる。
さらに、抽出された構造自体が自然に、生成された推論連鎖や塩分に基づく説明と比較して、人間が好む基礎的な説明を提供する。
関連論文リスト
- Even-if Explanations: Formal Foundations, Priorities and Complexity [19.03510917663375]
線形モデルとツリーモデルの両方がニューラルネットワークよりも厳密に解釈可能であることを示す。
ユーザが好みに基づいて説明をパーソナライズすることのできる、嗜好に基づくフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-17T11:38:58Z) - The Impact of Reasoning Step Length on Large Language Models [42.07147913947077]
思考の連鎖(CoT)は、大きな言語モデルの推論能力を改善する上で重要である。
プロンプトにおけるCoTの有効性と推論ステップの長さの相関について検討した。
論文 参考訳(メタデータ) (2024-01-10T04:37:38Z) - Towards a Mechanistic Interpretation of Multi-Step Reasoning
Capabilities of Language Models [107.07851578154242]
言語モデル(LM)は強力な多段階推論能力を持つ。
LMが事前学習コーパスから記憶された回答を不正に処理するか,多段階推論機構を用いてタスクを実行するかは明らかでない。
メカニスティックプローブは,ほとんどの例において,モデルの注意から推論ツリーの情報を検出することができることを示す。
論文 参考訳(メタデータ) (2023-10-23T01:47:29Z) - STREET: A Multi-Task Structured Reasoning and Explanation Benchmark [56.555662318619135]
マルチタスクとマルチドメインの自然言語推論と説明ベンチマークを統一的に導入する。
我々は、モデルが質問に答えるだけでなく、ある解の正しさを証明できる中間的な結論を生成するために、問題の前提がどのように使われているかを記述する、段階的に構造化された説明を生成することを期待している。
論文 参考訳(メタデータ) (2023-02-13T22:34:02Z) - MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。
推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。
この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
論文 参考訳(メタデータ) (2022-10-22T16:01:13Z) - Learn to Explain: Multimodal Reasoning via Thought Chains for Science
Question Answering [124.16250115608604]
本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。
また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。
我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
論文 参考訳(メタデータ) (2022-09-20T07:04:24Z) - Faithful Reasoning Using Large Language Models [12.132449274592668]
因果構造が問題の根底にある論理構造を反映するプロセスを通じて、LMを忠実な多段階推論を行う方法を示す。
我々の手法は、各ステップが2つの微調整されたLMへの呼び出しから得られる推論ステップをチェーンすることで機能する。
我々は,多段階論理推論と科学的質問応答におけるモデルの有効性を実証し,最終的な解答精度のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-08-30T13:44:41Z) - Dynamic Semantic Graph Construction and Reasoning for Explainable
Multi-hop Science Question Answering [50.546622625151926]
マルチホップQAのための説明可能性を得ながら,より有効な事実を活用できる新しいフレームワークを提案する。
a) tt AMR-SG,(a) tt AMR-SG,(a) tt AMR-SG,(a) tt AMR-SG,(c) グラフ畳み込みネットワーク(GCN)を利用した事実レベルの関係モデリング,(c) 推論過程の導出を行う。
論文 参考訳(メタデータ) (2021-05-25T09:14:55Z) - Discrete Reasoning Templates for Natural Language Understanding [79.07883990966077]
我々は,複雑な質問をより単純な質問に分解する手法を提案する。
事前定義された推論テンプレートの指示に従って最終回答を導出する。
我々のアプローチは、解釈可能でありながら最先端技術と競合し、監督をほとんど必要としないことを示す。
論文 参考訳(メタデータ) (2021-04-05T18:56:56Z) - Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question
Answering [35.40919477319811]
本稿では,事前学習された言語モデルにマルチホップ関係推論モジュールを組み込む新しい知識認識手法を提案する。
外部知識グラフから抽出したサブグラフに対して、マルチホップ、マルチリレーショナル推論を行う。
パスベースの推論手法とグラフニューラルネットワークを統合して、より優れた解釈性とスケーラビリティを実現する。
論文 参考訳(メタデータ) (2020-05-01T23:10:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。