Fugu-MT 論文翻訳(概要): Advanced ingestion process powered by LLM parsing for RAG system

論文の概要: Advanced ingestion process powered by LLM parsing for RAG system

arxiv url: http://arxiv.org/abs/2412.15262v1
Date: Mon, 16 Dec 2024 20:33:33 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-23 16:24:35.883391
Title: Advanced ingestion process powered by LLM parsing for RAG system
Title（参考訳）: RAGシステムのためのLLM解析を利用した高度な摂取プロセス
Authors: Arnau Perez, Xavier Vizcaino,
Abstract要約: 本稿では LLM を利用した OCR を用いたマルチストラテジー解析手法を提案する。この手法はノードベースの抽出手法を用いて、異なる情報タイプ間の関係を作り、コンテキスト対応メタデータを生成する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Retrieval Augmented Generation (RAG) systems struggle with processing multimodal documents of varying structural complexity. This paper introduces a novel multi-strategy parsing approach using LLM-powered OCR to extract content from diverse document types, including presentations and high text density files both scanned or not. The methodology employs a node-based extraction technique that creates relationships between different information types and generates context-aware metadata. By implementing a Multimodal Assembler Agent and a flexible embedding strategy, the system enhances document comprehension and retrieval capabilities. Experimental evaluations across multiple knowledge bases demonstrate the approach's effectiveness, showing improvements in answer relevancy and information faithfulness.
Abstract（参考訳）: Retrieval Augmented Generation (RAG) システムは、構造的な複雑さの異なるマルチモーダル文書の処理に苦慮している。本稿では,LLMを利用した新しいマルチストラテジー解析手法を提案する。この手法はノードベースの抽出手法を用いて、異なる情報タイプ間の関係を作り、コンテキスト対応メタデータを生成する。マルチモーダルアセンブラエージェントとフレキシブルな埋め込み戦略を実装することにより、文書の理解と検索能力を向上させる。複数の知識ベースにまたがる実験的な評価は、アプローチの有効性を示し、回答の妥当性と情報忠実性の向上を示す。

関連論文リスト

Learning More Effective Representations for Dense Retrieval through Deliberate Thinking Before Search [65.53881294642451]
ディリベレート思考に基づくDense Retriever (DEBATER) DEBATERは、ステップバイステップの思考プロセスを通じて、より効果的な文書表現を学習できるようにすることにより、最近の密集型検索機能を強化している。実験の結果,DEBATERはいくつかのベンチマークで既存手法よりも優れていた。
論文参考訳（メタデータ） (2025-02-18T15:56:34Z)
Concept Navigation and Classification via Open Source Large Language Model Processing [0.0]
本稿では,オープンソースのLarge Language Models (LLMs) を用いたテキストデータから潜在構造を検出・分類するための新しい手法を提案する。提案手法は,自動要約とループ内検証を組み合わせることで,構造同定の精度と解釈性を向上させる。
論文参考訳（メタデータ） (2025-02-07T08:42:34Z)
VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation [100.06122876025063]
本稿では,マルチドキュメント設定でQAシステムを評価するために設計された,初の総合ベンチマークであるVisDoMBenchを紹介する。視覚とテキストのRAGを同時に利用する新しいマルチモーダル検索拡張生成(RAG)手法であるVisDoMRAGを提案する。
論文参考訳（メタデータ） (2024-12-14T06:24:55Z)
CUE-M: Contextual Understanding and Enhanced Search with Multimodal Large Language Model [9.224965304457708]
本稿では,新しいマルチモーダル検索フレームワークであるMLLM (CUE-M) について述べる。マルチモーダルなQ&Aデータセットとパブリックセーフティベンチマークによる評価は、CUE-Mが精度、知識統合、安全性のベースラインを上回っていることを示している。
論文参考訳（メタデータ） (2024-11-19T07:16:48Z)
VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents [66.42579289213941]
Retrieval-augmented Generation (RAG) は、大規模言語モデルが外部知識ソースを生成に活用できる効果的な手法である。本稿では,視覚言語モデル(VLM)に基づくRAGパイプラインを構築することで,この問題に対処するVisRAGを紹介する。このパイプラインでは、まず文書を解析してテキストを得る代わりに、VLMを画像として直接埋め込んで、VLMの生成を強化する。
論文参考訳（メタデータ） (2024-10-14T15:04:18Z)
Hierarchical Multi-modal Transformer for Cross-modal Long Document Classification [74.45521856327001]
階層構造テキストと埋め込み画像で長い文書を分類する方法は、新しい問題である。本稿では,階層型マルチモーダル変換器 (HMT) を用いたクロスモーダルな文書分類手法を提案する。本稿では,マルチモーダル変換器と動的マルチスケールマルチモーダル変換器を用いて,画像特徴とセクションと文特徴の複雑な関係をモデル化する。
論文参考訳（メタデータ） (2024-07-14T07:12:25Z)
Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
論文参考訳（メタデータ） (2024-02-28T16:35:52Z)
Unsupervised Multi-document Summarization with Holistic Inference [41.58777650517525]
本稿では,教師なし多文書抽出要約のための新しい総合的枠組みを提案する。サブセット代表指数(SRI)は、原文からの文のサブセットの重要性と多様性のバランスをとる。その結果,多文書要約性能の向上には多様性が不可欠であることが示唆された。
論文参考訳（メタデータ） (2023-09-08T02:56:30Z)
mPLUG-DocOwl: Modularized Multimodal Large Language Model for Document Understanding [55.4806974284156]
文書理解とは、ウェブページのようなデジタル文書から自動的に情報を抽出し、分析し、理解することである。既存のMLLM(Multi-model Large Language Models)は、浅いOCRフリーテキスト認識において、望ましくないゼロショット機能を実証している。
論文参考訳（メタデータ） (2023-07-04T11:28:07Z)
Large-Scale Multi-Document Summarization with Information Extraction and Compression [31.601707033466766]
複数の異種文書のラベル付きデータとは無関係に抽象的な要約フレームワークを開発する。我々のフレームワークは、同じトピックのドキュメントではなく、異なるストーリーを伝えるドキュメントを処理する。我々の実験は、このより汎用的な設定において、我々のフレームワークが現在の最先端メソッドより優れていることを示した。
論文参考訳（メタデータ） (2022-05-01T19:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。