Fugu-MT 論文翻訳(概要): Advanced ingestion process powered by LLM parsing for RAG system

論文の概要: Advanced ingestion process powered by LLM parsing for RAG system

arxiv url: http://arxiv.org/abs/2412.15262v1
Date: Mon, 16 Dec 2024 20:33:33 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-23 16:24:35.883391
Title: Advanced ingestion process powered by LLM parsing for RAG system
Title（参考訳）: RAGシステムのためのLLM解析を利用した高度な摂取プロセス
Authors: Arnau Perez, Xavier Vizcaino,
Abstract要約: 本稿では LLM を利用した OCR を用いたマルチストラテジー解析手法を提案する。この手法はノードベースの抽出手法を用いて、異なる情報タイプ間の関係を作り、コンテキスト対応メタデータを生成する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Retrieval Augmented Generation (RAG) systems struggle with processing multimodal documents of varying structural complexity. This paper introduces a novel multi-strategy parsing approach using LLM-powered OCR to extract content from diverse document types, including presentations and high text density files both scanned or not. The methodology employs a node-based extraction technique that creates relationships between different information types and generates context-aware metadata. By implementing a Multimodal Assembler Agent and a flexible embedding strategy, the system enhances document comprehension and retrieval capabilities. Experimental evaluations across multiple knowledge bases demonstrate the approach's effectiveness, showing improvements in answer relevancy and information faithfulness.
Abstract（参考訳）: Retrieval Augmented Generation (RAG) システムは、構造的な複雑さの異なるマルチモーダル文書の処理に苦慮している。本稿では,LLMを利用した新しいマルチストラテジー解析手法を提案する。この手法はノードベースの抽出手法を用いて、異なる情報タイプ間の関係を作り、コンテキスト対応メタデータを生成する。マルチモーダルアセンブラエージェントとフレキシブルな埋め込み戦略を実装することにより、文書の理解と検索能力を向上させる。複数の知識ベースにまたがる実験的な評価は、アプローチの有効性を示し、回答の妥当性と情報忠実性の向上を示す。

関連論文リスト

DMQR-RAG: Diverse Multi-Query Rewriting for RAG [26.518517678671376]
大きな言語モデルは、しばしば静的な知識と幻覚による課題に遭遇し、その信頼性を損なう。 DMQR-RAG(Diverse Multi-Query Rewriting framework)を導入し、RAGにおける文書検索と最終応答の両方の性能を改善する。
論文参考訳（メタデータ） (2024-11-20T09:43:30Z)
CUE-M: Contextual Understanding and Enhanced Search with Multimodal Large Language Model [9.224965304457708]
本稿では,新しいマルチモーダル検索フレームワークであるMLLM (CUE-M) について述べる。マルチモーダルなQ&Aデータセットとパブリックセーフティベンチマークによる評価は、CUE-Mが精度、知識統合、安全性のベースラインを上回っていることを示している。
論文参考訳（メタデータ） (2024-11-19T07:16:48Z)
Hierarchical Visual Feature Aggregation for OCR-Free Document Understanding [41.43688559565315]
我々は、事前訓練されたマルチモーダル大言語モデル(MLLM)に基づく新しいOCRフリー文書理解フレームワークを提案する。本手法では,文書画像内のフォントサイズを多種多様な視覚的特徴量で処理する。そこで本研究では,入力テキストの相対的な位置を学習することで,モデルのテキスト読解能力を向上させる新しい命令チューニングタスクを提案する。
論文参考訳（メタデータ） (2024-11-08T00:58:12Z)
VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents [66.42579289213941]
Retrieval-augmented Generation (RAG) は、大規模言語モデルが外部知識ソースを生成に活用できる効果的な手法である。本稿では,視覚言語モデル(VLM)に基づくRAGパイプラインを構築することで,この問題に対処するVisRAGを紹介する。このパイプラインでは、まず文書を解析してテキストを得る代わりに、VLMを画像として直接埋め込んで、VLMの生成を強化する。
論文参考訳（メタデータ） (2024-10-14T15:04:18Z)
Unified Multimodal Interleaved Document Representation for Retrieval [57.65409208879344]
複数のモダリティでインターリーブされた文書を階層的に埋め込む手法を提案する。セグメント化されたパスの表現を1つのドキュメント表現にマージする。我々は,本手法が関連するベースラインを大幅に上回ることを示す。
論文参考訳（メタデータ） (2024-10-03T17:49:09Z)
Hierarchical Multi-modal Transformer for Cross-modal Long Document Classification [74.45521856327001]
階層構造テキストと埋め込み画像で長い文書を分類する方法は、新しい問題である。本稿では,階層型マルチモーダル変換器 (HMT) を用いたクロスモーダルな文書分類手法を提案する。本稿では,マルチモーダル変換器と動的マルチスケールマルチモーダル変換器を用いて,画像特徴とセクションと文特徴の複雑な関係をモデル化する。
論文参考訳（メタデータ） (2024-07-14T07:12:25Z)
Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
論文参考訳（メタデータ） (2024-02-28T16:35:52Z)
Unsupervised Multi-document Summarization with Holistic Inference [41.58777650517525]
本稿では,教師なし多文書抽出要約のための新しい総合的枠組みを提案する。サブセット代表指数(SRI)は、原文からの文のサブセットの重要性と多様性のバランスをとる。その結果,多文書要約性能の向上には多様性が不可欠であることが示唆された。
論文参考訳（メタデータ） (2023-09-08T02:56:30Z)
mPLUG-DocOwl: Modularized Multimodal Large Language Model for Document Understanding [55.4806974284156]
文書理解とは、ウェブページのようなデジタル文書から自動的に情報を抽出し、分析し、理解することである。既存のMLLM(Multi-model Large Language Models)は、浅いOCRフリーテキスト認識において、望ましくないゼロショット機能を実証している。
論文参考訳（メタデータ） (2023-07-04T11:28:07Z)
TRIE++: Towards End-to-End Information Extraction from Visually Rich Documents [51.744527199305445]
本稿では,視覚的にリッチな文書からエンド・ツー・エンドの情報抽出フレームワークを提案する。テキスト読み出しと情報抽出は、よく設計されたマルチモーダルコンテキストブロックを介して互いに強化することができる。フレームワークはエンドツーエンドのトレーニング可能な方法でトレーニングでき、グローバルな最適化が達成できる。
論文参考訳（メタデータ） (2022-07-14T08:52:07Z)
Large-Scale Multi-Document Summarization with Information Extraction and Compression [31.601707033466766]
複数の異種文書のラベル付きデータとは無関係に抽象的な要約フレームワークを開発する。我々のフレームワークは、同じトピックのドキュメントではなく、異なるストーリーを伝えるドキュメントを処理する。我々の実験は、このより汎用的な設定において、我々のフレームワークが現在の最先端メソッドより優れていることを示した。
論文参考訳（メタデータ） (2022-05-01T19:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。