論文の概要: HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction

• arxiv url: http://arxiv.org/abs/2408.04948v1
• Date: Fri, 9 Aug 2024 09:07:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 16:18:44.184390
• Title: HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction
• Title（参考訳）: HybridRAG:効率的な情報抽出のための知識グラフとベクトル検索生成の統合
• Authors: Bhaskarjit Sarmah, Benika Hall, Rohan Rao, Sunil Patel, Stefano Pasquali, Dhagash Mehta,
• Abstract要約: 本稿では,知識グラフ(KG)に基づくRAG手法のハイブリッドRAG(HybridRAG)を用いた新しい手法を提案する。 ベクトルデータベースとKGの両方からコンテキストを抽出するHybridRAGは、従来のVectorRAGとGraphRAGの両方を個別に比較する。 提案手法は金融分野を超えて応用できる。
• 参考スコア（独自算出の注目度）: 1.0390583509657403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extraction and interpretation of intricate information from unstructured text data arising in financial applications, such as earnings call transcripts, present substantial challenges to large language models (LLMs) even using the current best practices to use Retrieval Augmented Generation (RAG) (referred to as VectorRAG techniques which utilize vector databases for information retrieval) due to challenges such as domain specific terminology and complex formats of the documents. We introduce a novel approach based on a combination, called HybridRAG, of the Knowledge Graphs (KGs) based RAG techniques (called GraphRAG) and VectorRAG techniques to enhance question-answer (Q&A) systems for information extraction from financial documents that is shown to be capable of generating accurate and contextually relevant answers. Using experiments on a set of financial earning call transcripts documents which come in the form of Q&A format, and hence provide a natural set of pairs of ground-truth Q&As, we show that HybridRAG which retrieves context from both vector database and KG outperforms both traditional VectorRAG and GraphRAG individually when evaluated at both the retrieval and generation stages in terms of retrieval accuracy and answer generation. The proposed technique has applications beyond the financial domain
• Abstract（参考訳）: ファイナンシャル・コール・トランスクリプトなどの金融アプリケーションで発生する非構造的テキストデータからの複雑な情報の抽出と解釈は、ドメイン固有用語や文書の複雑なフォーマットといった課題により、現在の検索用拡張生成(RAG)(ベクトルデータベースを情報検索に利用するベクターRAG技術)を使用する場合でも、大きな言語モデル(LLM)に重大な課題をもたらす。 本稿では、知識グラフ(KG)に基づくRAG技術(GraphRAG)とVectorRAG技術(VectorRAG)のハイブリッドRAG(HybridRAG)と呼ばれる新しい手法を導入する。 そこで本研究では,Q&A形式の文書の集合を用いて,ベクトルデータベースとKGの両方からコンテキストを抽出したHybridRAGが,検索および生成段階において,検索精度と応答生成の両面で評価した場合に,従来のVectorRAGとGraphRAGのどちらよりも優れていることを示す。 提案手法はファイナンシャル・ドメインを超えて応用できる。

関連論文リスト

• G-RAG: Knowledge Expansion in Material Science [0.0]
  Graph RAGはグラフデータベースを統合して、検索プロセスを強化する。 文書のより詳細な表現を実現するために,エージェントベースの解析手法を実装した。
  論文  参考訳（メタデータ） (2024-11-21T21:22:58Z)
• VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents [66.42579289213941]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルが外部知識ソースを生成に活用できる効果的な手法である。 本稿では,視覚言語モデル(VLM)に基づくRAGパイプラインを構築することで,この問題に対処するVisRAGを紹介する。 このパイプラインでは、まず文書を解析してテキストを得る代わりに、VLMを画像として直接埋め込んで、VLMの生成を強化する。
  論文  参考訳（メタデータ） (2024-10-14T15:04:18Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• GEM-RAG: Graphical Eigen Memories For Retrieval Augmented Generation [3.2027710059627545]
  検索拡張生成のためのグラフィカル固有メモリ(GEM-RAG)について紹介する。 GEM-RAG は LLM が生成したユーティリティの質問を与えられたテキストコーパスにタグ付けすることで機能する。 我々は,UnifiedQA と GPT-3.5 Turbo を LLM として,SBERT を用いた GEM-RAG と OpenAI のテキストエンコーダを2つの標準QA タスクで評価した。
  論文  参考訳（メタデータ） (2024-09-23T21:42:47Z)
• Graph Retrieval-Augmented Generation: A Survey [28.979898837538958]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の課題に再トレーニングを必要とせずに対処することに成功した。 本稿では,GraphRAGの方法論について概観する。 Graph-Based Indexing、Graph-Guided Retrieval、Graph-Enhanced Generationを含むGraphRAGワークフローを形式化する。
  論文  参考訳（メタデータ） (2024-08-15T12:20:24Z)
• Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation [14.448198170932226]
  Think-on-Graph 2.0 (ToG-2) は、構造化されていない知識ソースと構造化されていない知識ソースの両方から情報を反復的に取得するハイブリッドRAGフレームワークである。 ToG-2は、グラフ検索とコンテキスト検索の交互に、質問に関連する詳細な手がかりを検索する。 GPT-3.5を用いて、7つの知識集約データセットのうち6つにおいて、ToG-2が最先端(SOTA)性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-07-15T15:20:40Z)
• Improving Retrieval in Theme-specific Applications using a Corpus Topical Taxonomy [52.426623750562335]
  ToTER (Topical Taxonomy Enhanced Retrieval) フレームワークを紹介する。 ToTERは、クエリとドキュメントの中心的なトピックを分類学のガイダンスで識別し、そのトピックの関連性を利用して、欠落したコンテキストを補う。 プラグイン・アンド・プレイのフレームワークとして、ToTERは様々なPLMベースのレトリバーを強化するために柔軟に使用できる。
  論文  参考訳（メタデータ） (2024-03-07T02:34:54Z)
• Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems [58.561904356651276]
  本稿では,対話型推薦システムのためのエンティティの意味理解を改善するために,知識強化型エンティティ表現学習(KERL)フレームワークを紹介する。 KERLは知識グラフと事前訓練された言語モデルを使用して、エンティティの意味的理解を改善する。 KERLはレコメンデーションとレスポンス生成の両方のタスクで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-12-18T06:41:23Z)
• Query-Specific Knowledge Graphs for Complex Finance Topics [6.599344783327053]
  ドメインの専門家が挑戦的な質問を作成できるCODECデータセットに重点を置いています。 最先端のランキングシステムには改善の余地があることが示される。 実体と文書の関連性は正の相関関係にあることを示す。
  論文  参考訳（メタデータ） (2022-11-08T10:21:13Z)
• Graph Learning based Recommender Systems: A Review [111.43249652335555]
  グラフ学習ベースのレコメンダーシステム(GLRS)は、高度なグラフ学習アプローチを使用して、ユーザーの好みと意図、および推奨項目の特性をモデル化します。 本稿では,グラフに基づく表現から重要な知識を抽出し,レコメンデーションの正確性,信頼性,説明性を向上する方法について論じることにより,GLRSの体系的なレビューを行う。
  論文  参考訳（メタデータ） (2021-05-13T14:50:45Z)
• ENT-DESC: Entity Description Generation by Exploring Knowledge Graph [53.03778194567752]
  実際には、出力記述が最も重要な知識のみをカバーするため、入力知識は十分以上である可能性がある。 我々は、KG-to-textにおけるこのような実践的なシナリオの研究を容易にするために、大規模で挑戦的なデータセットを導入する。 本稿では,元のグラフ情報をより包括的に表現できるマルチグラフ構造を提案する。
  論文  参考訳（メタデータ） (2020-04-30T14:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。