論文の概要: ViDoRAG: Visual Document Retrieval-Augmented Generation via Dynamic Iterative Reasoning Agents

• arxiv url: http://arxiv.org/abs/2502.18017v1
• Date: Tue, 25 Feb 2025 09:26:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 17:42:45.957508
• Title: ViDoRAG: Visual Document Retrieval-Augmented Generation via Dynamic Iterative Reasoning Agents
• Title（参考訳）: ViDoRAG:動的反復推論エージェントによるビジュアルドキュメント検索拡張生成
• Authors: Qiuchen Wang, Ruixue Ding, Zehui Chen, Weiqi Wu, Shihang Wang, Pengjun Xie, Feng Zhao,
• Abstract要約: ViDoSeekは複雑な推論を必要とする視覚的にリッチなドキュメント上でのRAGパフォーマンスを評価するために設計されたデータセットである。 視覚文書間の複雑な推論に適した新しいマルチエージェントRAGフレームワークであるViDoRAGを提案する。 特にViDoRAGは、競合するViDoSeekベンチマークで既存のメソッドを10%以上上回っている。
• 参考スコア（独自算出の注目度）: 27.90338725230132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding information from visually rich documents remains a significant challenge for traditional Retrieval-Augmented Generation (RAG) methods. Existing benchmarks predominantly focus on image-based question answering (QA), overlooking the fundamental challenges of efficient retrieval, comprehension, and reasoning within dense visual documents. To bridge this gap, we introduce ViDoSeek, a novel dataset designed to evaluate RAG performance on visually rich documents requiring complex reasoning. Based on it, we identify key limitations in current RAG approaches: (i) purely visual retrieval methods struggle to effectively integrate both textual and visual features, and (ii) previous approaches often allocate insufficient reasoning tokens, limiting their effectiveness. To address these challenges, we propose ViDoRAG, a novel multi-agent RAG framework tailored for complex reasoning across visual documents. ViDoRAG employs a Gaussian Mixture Model (GMM)-based hybrid strategy to effectively handle multi-modal retrieval. To further elicit the model's reasoning capabilities, we introduce an iterative agent workflow incorporating exploration, summarization, and reflection, providing a framework for investigating test-time scaling in RAG domains. Extensive experiments on ViDoSeek validate the effectiveness and generalization of our approach. Notably, ViDoRAG outperforms existing methods by over 10% on the competitive ViDoSeek benchmark.
• Abstract（参考訳）: 視覚的にリッチな文書からの情報を理解することは、従来の検索・拡張生成(RAG)手法にとって重要な課題である。 既存のベンチマークは主に画像に基づく質問応答(QA)に焦点を当てており、高密度のビジュアル文書における効率的な検索、理解、推論の根本的な課題を見越している。 このギャップを埋めるために、複雑な推論を必要とする視覚的にリッチなドキュメント上でのRAGパフォーマンスを評価するために設計された、新しいデータセットViDoSeekを紹介する。 それに基づいて、現在のRAGアプローチにおける重要な制限を特定します。 (i)純粋視覚検索手法は、テキストと視覚の両方を効果的に統合するのに苦労し、 (ii)従来の手法では、十分な推論トークンを割り当て、有効性を制限することが多かった。 これらの課題に対処するため,視覚文書間の複雑な推論に適した新しいマルチエージェントRAGフレームワークであるViDoRAGを提案する。 ViDoRAGはGaussian Mixture Model(GMM)ベースのハイブリッド戦略を用いて、マルチモーダル検索を効果的に処理する。 モデルの推論能力をさらに向上するため,探索,要約,リフレクションを取り入れた反復的エージェントワークフローを導入し,RAGドメインにおけるテスト時間スケーリングを調査するためのフレームワークを提供する。 ViDoSeekに関する大規模な実験により、我々のアプローチの有効性と一般化が検証された。 特にViDoRAGは、競合するViDoSeekベンチマークで既存のメソッドを10%以上上回っている。

関連論文リスト

• VimRAG: Navigating Massive Visual Context in Retrieval-Augmented Generation via Multimodal Memory Graph [42.348770377488094]
  VimRAGは、テキスト、画像、ビデオにまたがるマルチモーダル検索拡張推論に適したフレームワークである。 軌道レベルの報酬から段階的妥当性を分離するグラフガイド型ポリシー最適化手法を提案する。 実験により、VimRAGは様々なマルチモーダルRAGベンチマークにおける最先端のパフォーマンスを一貫して達成していることが示された。
  論文  参考訳（メタデータ） (2026-02-13T09:05:09Z)
• Multi-hop Reasoning via Early Knowledge Alignment [68.28168992785896]
  アーリー・ナレッジ・アライメント(EKA)は、大規模言語モデルと文脈的に関連づけられた知識を整合させることを目的としている。 EKAは検索精度を大幅に改善し、カスケードエラーを低減し、性能と効率を向上する。 EKAは、大規模モデルにシームレスにスケールする、多目的でトレーニング不要な推論戦略として有効である。
  論文  参考訳（メタデータ） (2025-12-23T08:14:44Z)
• Leveraging Spreading Activation for Improved Document Retrieval in Knowledge-Graph-Based RAG Systems [0.0]
  Retrieval-augmented Generation (RAG) システムは、複雑な推論タスクに必要な多段階の証拠を確実に回収し、接続するのに苦労する。 標準的なRAGフレームワークのほとんどは、検索された全ての情報を、大きなテキストコーパスの様々な信頼性と相互接続性を見越して、等しく信頼できるものとみなしている。 自動構築された知識グラフによって相互接続された文書のコーパスから情報を取得するために,拡散活性化アルゴリズムを用いた新しいRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-17T19:38:35Z)
• ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
  ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。 ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
  論文  参考訳（メタデータ） (2025-11-27T19:01:02Z)
• RAG-IGBench: Innovative Evaluation for RAG-based Interleaved Generation in Open-domain Question Answering [50.42577862494645]
  本稿では,RAG-IG(Retrieval-Augmented Generation)に基づくインターリーブドジェネレーション(Interleaved Generation)の課題を評価するためのベンチマークであるRAG-IGBenchを提案する。 RAG-IGは、MLLM(Multimodal large language model)と検索機構を統合し、モデルがコヒーレントなマルチモーダルコンテンツを生成するための外部画像テキスト情報にアクセスできるようにする。
  論文  参考訳（メタデータ） (2025-10-11T03:06:39Z)
• Guided Query Refinement: Multimodal Hybrid Retrieval with Test-Time Optimization [10.476757608225475]
  マルチモーダルエンコーダは、視覚文書検索の境界を押し広げている。 このパラダイムに依存する最近のモデルは、クエリやドキュメントの表現のサイズを大幅に拡大しています。 軽量な高密度テキストレトリバーが、より強力な視覚中心モデルを強化することができるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-10-06T17:12:53Z)
• Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs [69.10441885629787]
  Retrieval-Augmented Generation (RAG) は、外部知識を注入することによって、Large Language Models (LLM) の事実性を高める。 逆に、純粋に推論指向のアプローチは、しばしば幻覚的あるいは誤った事実を必要とする。 この調査は両鎖を統一的推論-検索の観点から合成する。
  論文  参考訳（メタデータ） (2025-07-13T03:29:41Z)
• VRAG-RL: Empower Vision-Perception-Based RAG for Visually Rich Information Understanding via Iterative Reasoning with Reinforcement Learning [45.39372905700317]
  視覚的に豊かな情報にまたがる複雑な推論に適した新しいRLフレームワークであるVRAG-RLを紹介する。 このフレームワークにより、VLMは検索エンジンと相互作用し、シングルターンまたはマルチターン推論軌道を自律的にサンプリングする。 我々のアプローチは、RAGドメインにおけるRLの重要な制限を強調します。
  論文  参考訳（メタデータ） (2025-05-28T06:30:51Z)
• A Multi-Granularity Retrieval Framework for Visually-Rich Documents [4.804551482123172]
  本稿では,MMDocIRとM2KRの2つのベンチマークタスクに適した,統一されたマルチグラニュラリティマルチモーダル検索フレームワークを提案する。 提案手法は,階層型符号化戦略,モダリティ対応検索機構,視覚言語モデル(VLM)に基づく候補フィルタリングを統合する。 本フレームワークは,タスク固有の微調整を必要とせずに,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2025-05-01T02:40:30Z)
• QID: Efficient Query-Informed ViTs in Data-Scarce Regimes for OCR-free Visual Document Understanding [53.69841526266547]
  トレーニング済みのVision-Language Modelを新しいデータセットで微調整することは、ビジョンエンコーダの最適化に不足することが多い。 視覚エンコーダにクエリの埋め込みを統合する,新しい,合理化されたアーキテクチャ保存アプローチであるQIDを導入する。
  論文  参考訳（メタデータ） (2025-04-03T18:47:16Z)
• Envisioning Beyond the Pixels: Benchmarking Reasoning-Informed Visual Editing [90.65399476233495]
  RISEBenchはReasoning-Informed ViSual Editing (RISE)の最初のベンチマークである。 RISEBenchは、時間、因果、空間、論理的推論の4つの主要な推論タイプに焦点を当てている。 本稿では,人間の判断とLMM-as-a-judgeアプローチの両方を用いて,指示推論,外観整合性,視覚的可視性を評価する評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-03T17:59:56Z)
• Insight-RAG: Enhancing LLMs with Insight-Driven Augmentation [4.390998479503661]
  本稿では,インサイトに基づく文書検索のための新しいフレームワークであるInsight-RAGを提案する。 Insight-RAG の初期段階では,従来の検索手法の代わりに LLM を用いて入力クエリとタスクを解析する。 従来のRAG手法と同様に、元のクエリを抽出した洞察と統合することにより、最終的なLCMを用いて、文脈的に豊かで正確な応答を生成する。
  論文  参考訳（メタデータ） (2025-03-31T19:50:27Z)
• RAG-Gym: Optimizing Reasoning and Search Agents with Process Supervision [43.50113345998687]
  RAG-Gymは、情報検索エージェントを、各検索ステップにおけるきめ細かいプロセス管理によって強化する統合最適化フレームワークである。 また、RAG-Gymフレームワーク内での応答推論と検索クエリ生成を相乗化する新しいエージェントアーキテクチャであるReSearchを提案する。
  論文  参考訳（メタデータ） (2025-02-19T18:56:03Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• VISA: Retrieval Augmented Generation with Visual Source Attribution [100.78278689901593]
  RAGの既存のアプローチは主に生成されたコンテンツをドキュメントレベルの参照にリンクする。 本稿では,視覚的ソース属性と解答生成を組み合わせた新しい手法として,視覚的ソース属性を用いた検索補助生成(VISA)を提案する。 本手法の有効性を評価するため,ウィキペディアのWebページスクリーンショットをクロールしたWiki-VISAとPubLayNetから派生したPaper-VISAの2つのデータセットを作成した。
  論文  参考訳（メタデータ） (2024-12-19T02:17:35Z)
• VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation [100.06122876025063]
  本稿では,マルチドキュメント設定でQAシステムを評価するために設計された,初の総合ベンチマークであるVisDoMBenchを紹介する。 視覚とテキストのRAGを同時に利用する新しいマルチモーダル検索拡張生成(RAG)手法であるVisDoMRAGを提案する。
  論文  参考訳（メタデータ） (2024-12-14T06:24:55Z)
• VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents [66.42579289213941]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルが外部知識ソースを生成に活用できる効果的な手法である。 本稿では,視覚言語モデル(VLM)に基づくRAGパイプラインを構築することで,この問題に対処するVisRAGを紹介する。 このパイプラインでは、まず文書を解析してテキストを得る代わりに、VLMを画像として直接埋め込んで、VLMの生成を強化する。
  論文  参考訳（メタデータ） (2024-10-14T15:04:18Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。