論文の概要: Multi-Document Financial Question Answering using LLMs

• arxiv url: http://arxiv.org/abs/2411.07264v1
• Date: Fri, 08 Nov 2024 21:03:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:17:54.871754
• Title: Multi-Document Financial Question Answering using LLMs
• Title（参考訳）: LLMを用いた多文書財務質問応答
• Authors: Shalin Shah, Srikanth Ryali, Ramasubbu Venkatesh,
• Abstract要約: 複数文書の財務質問応答のための2つの新しい手法を提案する。 まず、セマンティックタグを使用するメソッドで、次にインデックスをクエリしてコンテキストを取得する(RAG_SEM)。 第2に,意味的タグ付けを用いた知識グラフ(KG_RAG)に基づく手法で,グラフデータベースから知識グラフのトリプルをコンテキストとして検索する。
• 参考スコア（独自算出の注目度）: 0.5120567378386615
• License:
• Abstract: We propose two new methods for multi-document financial question answering. First, a method that uses semantic tagging, and then, queries the index to get the context (RAG_SEM). And second, a Knowledge Graph (KG_RAG) based method that uses semantic tagging, and, retrieves knowledge graph triples from a graph database, as context. KG_RAG uses knowledge graphs constructed using a small model that is fine-tuned using knowledge distillation using a large teacher model. The data consists of 18 10K reports of Apple, Microsoft, Alphabet, NVIDIA, Amazon and Tesla for the years 2021, 2022 and 2023. The list of questions in the data consists of 111 complex questions including many esoteric questions that are difficult to answer and the answers are not completely obvious. As evaluation metrics, we use overall scores as well as segmented scores for measurement including the faithfulness, relevance, correctness, similarity, an LLM based overall score and the rouge scores as well as a similarity of embeddings. We find that both methods outperform plain RAG significantly. KG_RAG outperforms RAG_SEM in four out of nine metrics.
• Abstract（参考訳）: 複数文書の財務質問応答のための2つの新しい手法を提案する。 まず、セマンティックタグを使用するメソッドで、次にインデックスをクエリしてコンテキストを取得する(RAG_SEM)。 次に,意味的タグ付けを用いた知識グラフ(KG_RAG)に基づく手法により,グラフデータベースから知識グラフのトリプルをコンテキストとして検索する。 KG_RAGは、知識の蒸留を用いて微調整された小さなモデルを用いて構築された知識グラフを使用する。 データは、2021年、2022年、2023年のApple、Microsoft、Alphabet、NVIDIA、Amazon、Teslaの18万件のレポートから成っている。 データ内の質問のリストは、111の複雑な質問で構成されており、答えが難しい多くの難解な質問を含む。 評価指標として,信頼性,妥当性,妥当性,正確性,類似性,LSMに基づく総合スコア,ルージュスコア,埋め込みの類似性など,総合スコアと分割スコアを用いる。 両手法がRAGを著しく上回ることがわかった。 KG_RAGは、RAG_SEMを9つの指標のうち4つで上回る。

関連論文リスト

• RAG-ConfusionQA: A Benchmark for Evaluating LLMs on Confusing Questions [52.33835101586687]
  会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。 本稿では,与えられた文書コーパスから,文脈に乱れた多様な質問を効率的に生成する,新しい合成データ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• HOLMES: Hyper-Relational Knowledge Graphs for Multi-hop Question Answering using LLMs [9.559336828884808]
  大規模言語モデル(LLM)は、単純な(シングルホップ)質問に答えるには適しています。 質問の複雑さが増すにつれて、LLMの性能は低下する。 最近の手法では、構造化知識三重項を原文に組み込むことで、この負担を軽減しようとしている。 本稿では,知識グラフ(KG)を用いてコンテキスト認識し,クエリ関連情報を含むように蒸留する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T05:22:49Z)
• From Local to Global: A Graph RAG Approach to Query-Focused Summarization [3.9676927113698626]
  プライベートテキストコーパス上での質問応答に対するグラフRAG手法を提案する。 我々のアプローチは、ソース文書からエンティティ知識グラフを使用して、近縁なエンティティのすべてのグループに対して、コミュニティの要約を事前に生成する。 100万のトークン範囲のデータセットに対するグローバルなセンスメイキング質問のクラスでは、グラフRAGが、生来のRAGベースラインよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-04-24T18:38:11Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• SciGraphQA: A Large-Scale Synthetic Multi-Turn Question-Answering Dataset for Scientific Graphs [3.393948745711056]
  SciGraphQA(SciGraphQA)は,学術グラフに関連する多ターン質問応答データセットである。 ChartVQAよりも13倍大きい。
  論文  参考訳（メタデータ） (2023-08-07T07:03:49Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• KGxBoard: Explainable and Interactive Leaderboard for Evaluation of Knowledge Graph Completion Models [76.01814380927507]
  KGxBoardは、データの意味のあるサブセットを詳細に評価するためのインタラクティブなフレームワークである。 実験では,KGxBoardを用いることで,標準平均シングルスコアメトリクスでは検出が不可能であったことを強調した。
  論文  参考訳（メタデータ） (2022-08-23T15:11:45Z)
• Question-Answer Sentence Graph for Joint Modeling Answer Selection [122.29142965960138]
  我々は,質問文,質問文,回答文のペア間のスコアを計算するための最先端(SOTA)モデルを訓練し,統合する。 オンライン推論は、目に見えないクエリのAS2タスクを解決するために実行される。
  論文  参考訳（メタデータ） (2022-02-16T05:59:53Z)
• Graph-augmented Learning to Rank for Querying Large-scale Knowledge Graph [34.774049199809426]
  情報検索に基づく知識グラフ質問応答(KGQA)は,大規模知識グラフから回答を取得して回答することを目的としている。 まず,検索したKSGを,新しいサブグラフ分割アルゴリズムを用いて,より小さなKSGに分割する。 次に、ランク付けモデルから上位のKSGを選択するためのグラフ拡張学習を提案する。
  論文  参考訳（メタデータ） (2021-11-20T08:27:37Z)
• Toward Subgraph-Guided Knowledge Graph Question Generation with Graph Neural Networks [53.58077686470096]
  知識グラフ(KG)質問生成(QG)は,KGから自然言語質問を生成することを目的とする。 本研究は,KGサブグラフから質問を生成し,回答をターゲットとする,より現実的な環境に焦点を当てる。
  論文  参考訳（メタデータ） (2020-04-13T15:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。