論文の概要: Integrating Large Language Models with Graph-based Reasoning for Conversational Question Answering

• arxiv url: http://arxiv.org/abs/2407.09506v1
• Date: Fri, 14 Jun 2024 13:28:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 13:28:38.472892
• Title: Integrating Large Language Models with Graph-based Reasoning for Conversational Question Answering
• Title（参考訳）: 対話型質問応答のためのグラフベース推論を用いた大規模言語モデルの統合
• Authors: Parag Jain, Mirella Lapata,
• Abstract要約: 我々は,テキストや知識グラフ,テーブル,インフォボックスといった異質な情報源から収集された証拠について,文脈における質問の理解と推論の課題を組み合わせた会話型質問応答タスクに着目する。 提案手法はグラフ構造表現を用いて質問とその文脈に関する情報を集約する。
• 参考スコア（独自算出の注目度）: 58.17090503446995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We focus on a conversational question answering task which combines the challenges of understanding questions in context and reasoning over evidence gathered from heterogeneous sources like text, knowledge graphs, tables, and infoboxes. Our method utilizes a graph structured representation to aggregate information about a question and its context (i.e., the conversation so far and evidence retrieved to find an answer), while also harnessing the reasoning and text generation capabilities of large language models (LLMs). Graph embeddings are directly injected into the LLM, bypassing the token embedding layers, and learned end-to-end by minimizing cross-entropy. Our model maintains a memory module to track and update past evidence, thus influencing the graph's structure, as the conversation evolves. Experimental results on the ConvMix benchmark(Christmann et al., 2022a) show that graph embeddings enhance the LLM's ability to reason, while the memory module provides robustness against noise and retrieval errors.
• Abstract（参考訳）: 我々は,テキストや知識グラフ,テーブル,インフォボックスといった異質な情報源から収集された証拠について,文脈における質問理解と推論の課題を組み合わせた会話型質問応答タスクに着目する。 提案手法では,質問とその文脈に関する情報(これまでの会話と回答を見つけるための証拠)をグラフ構造化表現を用いて収集し,また,大規模言語モデル(LLM)の推論とテキスト生成機能を利用する。 グラフ埋め込みは LLM に直接注入され、トークン埋め込み層をバイパスし、クロスエントロピーを最小化してエンドツーエンドを学習する。 我々のモデルは過去の証拠を追跡・更新するためのメモリモジュールを維持しており、それによって会話が進化するにつれてグラフの構造に影響を与える。 ConvMixベンチマーク(Christmann et al , 2022a)の実験結果によると、グラフ埋め込みはLCMの推論能力を高め、メモリモジュールはノイズや検索エラーに対して堅牢性を提供する。

関連論文リスト

• Debate on Graph: a Flexible and Reliable Reasoning Framework for Large Language Models [33.662269036173456]
  大規模言語モデル(LLM)は、関連する知識の欠如により、現実世界の応用において幻覚に悩まされることがある。 KGQA(Knowledge Graph Question Answering)は、統合のための重要な手掛かりとなる。 LLMの対話型学習機能を活用してグラフ上での推論と議論を行う対話型KGQAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-05T01:11:58Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• GraphextQA: A Benchmark for Evaluating Graph-Enhanced Large Language Models [33.56759621666477]
  本稿では,言語モデルへのグラフ知識の統合を評価するためのベンチマークデータセットを提案する。 提案したデータセットは,グラフの理解能力を評価し,回答生成に利用するように設計されている。 言語のみのモデルと提案したグラフ言語モデルを用いて,ペアグラフの有用性を検証し,課題の難しさを実証する。
  論文  参考訳（メタデータ） (2023-10-12T16:46:58Z)
• Enhancing Dialogue Generation via Dynamic Graph Knowledge Aggregation [23.54754465832362]
  従来のグラフニューラルネットワーク(GNN)では、グラフに渡すメッセージはテキストとは独立している。 このトレーニング体制は、グラフ知識とテキストの間に意味的なギャップをもたらす。 知識グラフ強化対話生成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T13:21:00Z)
• Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
  汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。 ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-04T16:04:41Z)
• GreaseLM: Graph REASoning Enhanced Language Models for Question Answering [159.9645181522436]
  GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。 GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
  論文  参考訳（メタデータ） (2022-01-21T19:00:05Z)
• Ontology-based question answering over corporate structured data [0.0]
  自然言語理解(NLU)処理に対するオントロジーに基づくアプローチは、対話システムの品質に対する質問の改善を可能にする。 我々は、NLUエンジンアーキテクチャを説明し、その実装を評価した。 そこで,チャットボットの対話エンジンについて述べる。
  論文  参考訳（メタデータ） (2021-11-08T13:49:15Z)
• Graph-based Multi-hop Reasoning for Long Text Generation [66.64743847850666]
  MRGはグラフベースのマルチホップ推論モジュールとパス認識文実現モジュールの2部で構成されている。 従来のブラックボックスモデルとは異なり、MRGはスケルトンパスを明示的に推論し、提案されたモデルがどのように機能するかを説明する説明的なビューを提供する。
  論文  参考訳（メタデータ） (2020-09-28T12:47:59Z)
• Iterative Context-Aware Graph Inference for Visual Dialog [126.016187323249]
  本稿では,新しいコンテキスト認識グラフ(CAG)ニューラルネットワークを提案する。 グラフの各ノードは、オブジェクトベース(視覚)と履歴関連(テキスト)コンテキスト表現の両方を含む、共同意味機能に対応している。
  論文  参考訳（メタデータ） (2020-04-05T13:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。