論文の概要: Query-Driven Multimodal Information Extraction from Long Documents
- arxiv url: http://arxiv.org/abs/2608.22214v1
- Date: Sun, 23 Aug 2026 04:37:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.652998
- Title: Query-Driven Multimodal Information Extraction from Long Documents
- Title（参考訳）: 長文からのクエリ駆動型マルチモーダル情報抽出
- Abstract要約: 本稿では,長い文書から問合せ駆動による画像-テキスト共同抽出を提案する。
ユーザ意図と文書の内容の両方に関わる課題に基づいて、2段階の分類を設計した。
私たちは、この新しいタスクのための最初の高品質で手動でアノテートされたベンチマークであるITJointを構築します。
- 参考スコア（独自算出の注目度）: 6.155740787063792
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In domain-specific multimodal long documents, images and text jointly convey complex knowledge that cannot be fully captured by plain text alone. However, existing paradigms like DocVQA primarily focus on generating textual answers or localizing evidence regions, rather than outputting query-specific textual attribute values and corresponding images. To address this gap, we propose query-driven image-text joint extraction from long documents, requiring models to output query-requested textual attribute values and corresponding image bounding boxes. Based on challenges related to both user intent and document content, we designed a two-level taxonomy that operates at the query and instance levels. Further, we construct ITJoint, the first high-quality, manually annotated benchmark for this new task, comprising 2,455 pages of domain-specific documents with numerous non-decorative images, 316 queries, and 910 answer instances. Finally, we evaluate representative standalone Vision-Language Models from different providers and further design Q2IT, a multi-agent collaborative framework consisting of three progressively collaborating agents for evidence collection, page selection, and target-image localization. Using a joint evaluation approach that assesses both text extraction and image localization, our experiments show that standalone VLMs struggle with this task, while Q2IT significantly improves performance on ITJoint, although a substantial gap remains toward perfect results.
- Abstract（参考訳）: ドメイン固有のマルチモーダルな長い文書では、画像とテキストは、プレーンテキストだけではキャプチャできない複雑な知識を共同で伝達する。
しかし、DocVQAのような既存のパラダイムは、クエリ固有のテキスト属性値と対応するイメージを出力するのではなく、主にテキスト回答の生成やエビデンス領域のローカライズに重点を置いている。
このギャップに対処するために、長い文書からクエリ駆動の画像テキスト共同抽出を提案し、クエリ要求されたテキスト属性値と対応する画像境界ボックスを出力する必要がある。
ユーザ意図とドキュメントの内容の両方に関連する課題に基づいて、クエリとインスタンスレベルで動作する2段階の分類を設計しました。
さらに,多数の非装飾的な画像と316のクエリ,910の回答インスタンスを持つドメイン固有文書の2,455ページからなる,この新しいタスクのための最初の高品質な手動アノテートベンチマークであるITJointを構築した。
最後に、異なるプロバイダからの代表的スタンドアロンビジョンランゲージモデルを評価し、さらに、エビデンス収集、ページ選択、ターゲット画像のローカライゼーションのための3つの段階的に協調するエージェントからなる多エージェント協調フレームワークであるQ2ITを設計する。
テキスト抽出と画像ローカライゼーションの両方を評価する共同評価手法を用いて,本実験では,スタンドアロンのVLMがこの問題に対処する一方で,Q2ITはITJointの性能を著しく向上させるが,完全な結果に向けた大きなギャップは残る。
関連論文リスト
- Deeply Interleaved Text-Image Contexts for Multimodal LLMs Assessment [57.41731607488101]
TIC-Benchは、テキストイメージの手がかりを統合し、深くインターリーブされたコンテキストの中で真実の事実を復元するモデルの能力を評価するように設計されている。
また,10種類のMLLMを評価し,人的専門家と比較してかなりの性能差が認められた。
論文 参考訳（メタデータ） (2026-09-02T13:19:51Z) - VinQA: Visual Elements Interleaved Long-form Answer Generation for Real-World Multimodal Document QA [7.046359260432822]
VinQAは、引用された視覚要素がサポートテキストと明示的にインターリーブされた長文回答生成のためのデータセットである。
生文書のページイメージをMLLMに入力する2つのエンコーディング手法と,その視覚的要素抽出機構について検討した。
本実験では, 完全性, 回答関連性, 忠実性, 障害性という4次元の回答を評価するために, M-GroSEを提案する。
論文 参考訳（メタデータ） (2026-06-15T01:14:14Z) - Seeing Through Words: Controlling Visual Retrieval Quality with Language Models [68.49490036960559]
本稿では,画像品質の明示的な概念を取り入れつつ,文脈的詳細で短いクエリを充実させる,品質制御可能な検索の新たなパラダイムを提案する。
我々のキーとなる考え方は、生成言語モデルをクエリ補完関数として活用し、未特定クエリを記述形式に拡張することです。
提案手法は,検索結果を大幅に改善し,最新のVLMの表現能力と,短いユーザクエリの未特定特性とのギャップを埋める,効果的な品質管理を提供する。
論文 参考訳（メタデータ） (2026-02-24T18:20:57Z) - CMRAG: Co-modality-based visual document retrieval and question answering [21.016544020685668]
共同モダリティベースのRAG(RAG)フレームワークは、テキストや画像を利用してより正確な検索と生成を行うことができる。
我々のフレームワークは、複数のビジュアル文書質問応答(VDQA)ベンチマークにおいて、単一モダリティベースのRAGを一貫して上回ります。
論文 参考訳（メタデータ） (2025-09-02T09:17:57Z) - QID: Efficient Query-Informed ViTs in Data-Scarce Regimes for OCR-free Visual Document Understanding [53.69841526266547]
トレーニング済みのVision-Language Modelを新しいデータセットで微調整することは、ビジョンエンコーダの最適化に不足することが多い。
視覚エンコーダにクエリの埋め込みを統合する,新しい,合理化されたアーキテクチャ保存アプローチであるQIDを導入する。
論文 参考訳（メタデータ） (2025-04-03T18:47:16Z) - Towards Text-Image Interleaved Retrieval [49.96332254241075]
テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。
我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。
異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
論文 参考訳（メタデータ） (2025-02-18T12:00:47Z) - FTII-Bench: A Comprehensive Multimodal Benchmark for Flow Text with Image Insertion [7.322448493179106]
Flow Text with Image Insertion Taskでは、LVLMは画像理解、命令理解、長文解釈において優れた能力を持つ必要がある。
318の高品質な中国語画像テキストニュース記事と307の高品質な英語画像テキストニュース記事を含む、画像挿入ベンチマーク付きフローテキスト(FTII-Bench)を導入し、10の異なるニュースドメインをカバーする。
9つのオープンソースと2つのクローズドソースのLVLMと2つのCLIPベースのモデルを評価した。
論文 参考訳（メタデータ） (2024-10-16T13:38:31Z) - Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks [62.758680527838436]
複数のテキストリッチな画像を含む視覚言語タスクを扱うためのMLLMであるLeopardを提案する。
まず、テキストリッチでマルチイメージのシナリオに合わせて、約100万の高品質なマルチモーダル命令チューニングデータをキュレートした。
第2に,視覚列長の割り当てを動的に最適化する適応型高解像度マルチイメージ符号化モジュールを提案する。
論文 参考訳（メタデータ） (2024-10-02T16:55:01Z) - OpenLEAF: Open-Domain Interleaved Image-Text Generation and Evaluation [151.57313182844936]
本稿では,大規模言語モデル(LLM)と事前学習されたテキスト・ツー・イメージ(T2I)モデル,すなわちOpenLEAFに基づく新たなインターリーブ生成フレームワークを提案する。
まず,大規模マルチモーダルモデル(LMM)を用いて,オープンドメインのインターリーブ画像-テキストシーケンスのエンティティとスタイルのコンピテンシーを評価することを提案する。
論文 参考訳（メタデータ） (2023-10-11T17:58:33Z) - DUBLIN -- Document Understanding By Language-Image Network [37.42637168606938]
3つの新しい目的を用いて,Webページ上で事前学習を行うDUBLINを提案する。
DUBLIN は WebSRC データセット上で 77.75 の EM と 84.25 の F1 を達成した最初のピクセルベースモデルであることを示す。
また、RVL-CDIP文書分類における競合性能も達成する。
論文 参考訳（メタデータ） (2023-05-23T16:34:09Z) - Human Evaluation of Text-to-Image Models on a Multi-Task Benchmark [80.79082788458602]
テキスト・ツー・イメージ・モデルを評価するための新しいマルチタスク・ベンチマークを提供する。
我々は、最も一般的なオープンソース(安定拡散)と商用(DALL-E2)モデルを比較した。
20人のコンピュータサイエンスの大学院生が、2つのモデルを3つのタスクで評価し、それぞれ10のプロンプトで3つの難易度で評価した。
論文 参考訳（メタデータ） (2022-11-22T09:27:53Z) - ARTEMIS: Attention-based Retrieval with Text-Explicit Matching and
Implicit Similarity [16.550790981646276]
現在のアプローチでは、クエリの2つの要素のそれぞれの特徴をひとつの表現にまとめています。
本研究の目的は,テキスト・ツー・イメージ検索と画像・ツー・イメージ検索という,慣れ親しんだ2つのフレームワークのプリズムを通じてタスクに新たな光を当てることである。
論文 参考訳（メタデータ） (2022-03-15T17:29:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。