論文の概要: LLM-Assisted Question-Answering on Technical Documents Using Structured Data-Aware Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2506.23136v1
• Date: Sun, 29 Jun 2025 08:22:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.735219
• Title: LLM-Assisted Question-Answering on Technical Documents Using Structured Data-Aware Retrieval Augmented Generation
• Title（参考訳）: LLMを活用した構造化データ認識検索生成による技術文書の質問応答
• Authors: Shadman Sobhan, Mohammad Ariful Haque,
• Abstract要約: 大きな言語モデル(LLM)は自然言語の理解と生成を可能にする。 ファインチューニングは可能なソリューションのひとつだが、リソース集約であり、データ更新毎に繰り返す必要がある。 Retrieval-Augmented Generation (RAG)は、LLMが外部の知識ソースにアクセスできるようにすることにより、効率的なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 0.432776344138537
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are capable of natural language understanding and generation. But they face challenges such as hallucination and outdated knowledge. Fine-tuning is one possible solution, but it is resource-intensive and must be repeated with every data update. Retrieval-Augmented Generation (RAG) offers an efficient solution by allowing LLMs to access external knowledge sources. However, traditional RAG pipelines struggle with retrieving information from complex technical documents with structured data such as tables and images. In this work, we propose a RAG pipeline, capable of handling tables and images in documents, for technical documents that support both scanned and searchable formats. Its retrieval process combines vector similarity search with a fine-tuned reranker based on Gemma-2-9b-it. The reranker is trained using RAFT (Retrieval-Augmented Fine-Tuning) on a custom dataset designed to improve context identification for question answering. Our evaluation demonstrates that the proposed pipeline achieves a high faithfulness score of 94% (RAGas) and 96% (DeepEval), and an answer relevancy score of 87% (RAGas) and 93% (DeepEval). Comparative analysis demonstrates that the proposed architecture is superior to general RAG pipelines in terms of table-based questions and handling questions outside context.
• Abstract（参考訳）: 大きな言語モデル(LLM)は自然言語の理解と生成を可能にする。 しかし、幻覚や時代遅れの知識といった課題に直面している。 微調整は可能な解決策の1つだが、リソース集約であり、データ更新毎に繰り返す必要がある。 Retrieval-Augmented Generation (RAG)は、LLMが外部の知識ソースにアクセスできるようにすることにより、効率的なソリューションを提供する。 しかし、従来のRAGパイプラインは、複雑な技術文書からテーブルやイメージのような構造化されたデータで情報を取得するのに苦労している。 本研究では,スキャンおよび検索可能なフォーマットをサポートする技術文書に対して,文書内のテーブルやイメージを処理可能なRAGパイプラインを提案する。 その検索プロセスは、ベクトル類似性探索とGemma-2-9b-itに基づく微調整リランカを組み合わせる。 リランカはRAFT(Retrieval-Augmented Fine-Tuning)を使用して、質問応答のコンテキスト識別を改善するために設計されたカスタムデータセットでトレーニングされる。 評価の結果,提案パイプラインの信頼性スコアは94% (RAGas) と96% (DeepEval) であり,回答関連スコアは87% (RAGas) と93% (DeepEval) であった。 比較分析により、提案アーキテクチャは、テーブルベースの質問やコンテキスト外の質問を扱うという点で、一般的なRAGパイプラインよりも優れていることが示された。

関連論文リスト

• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)
• Hierarchical Retrieval with Evidence Curation for Open-Domain Financial Question Answering on Standardized Documents [17.506934704019226]
  標準化されたドキュメントは、反復的なボイラープレートテキストや同様のテーブル構造など、同様のフォーマットを共有している。 この類似性により、従来のRAGメソッドは、ほぼ重複したテキストを誤識別し、精度と完全性を損なう重複検索につながる。 本稿では,これらの問題に対処するためのEvidence Curationフレームワークを用いた階層検索手法を提案する。
  論文  参考訳（メタデータ） (2025-05-26T11:08:23Z)
• Retrieval-Augmented Visual Question Answering via Built-in Autoregressive Search Engines [17.803396998387665]
  Retrieval-augmented Generation (RAG)は、知識集約型視覚質問応答(VQA)タスクに対処するために登場した。 本稿では,知識に基づくVQAタスクに対する従来のRAGモデルの代替としてReAuSEを提案する。 我々のモデルは生成型検索器と正確な回答生成器の両方として機能する。
  論文  参考訳（メタデータ） (2025-02-23T16:39:39Z)
• GeAR: Generation Augmented Retrieval [82.20696567697016]
  本稿では,新しい方法であるtextbfGe$nerationを紹介する。 対照的な学習を通じて、グローバルなドキュメントクエリの類似性を改善すると同時に、よく設計されたフュージョンとデコードモジュールを統合する。 検索機として使用する場合、GeARはバイエンコーダよりも計算コストがかかることはない。
  論文  参考訳（メタデータ） (2025-01-06T05:29:00Z)
• QuIM-RAG: Advancing Retrieval-Augmented Generation with Inverted Question Matching for Enhanced QA Performance [1.433758865948252]
  本研究では,RAG(Retrieval-Augmented Generation)システム構築のための新しいアーキテクチャを提案する。 RAGアーキテクチャは、ターゲット文書から応答を生成するために構築される。 本稿では,本システムにおける検索機構の新しいアプローチQuIM-RAGを紹介する。
  論文  参考訳（メタデータ） (2025-01-06T01:07:59Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
  大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。 この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
  論文  参考訳（メタデータ） (2024-03-31T08:58:54Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。