論文の概要: Inference-Free Multimodal Learned Sparse Retrieval for Production-Scale Visual Document Search
- arxiv url: http://arxiv.org/abs/2605.30917v1
- Date: Fri, 29 May 2026 07:01:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.438487
- Title: Inference-Free Multimodal Learned Sparse Retrieval for Production-Scale Visual Document Search
- Title(参考訳): 大規模ビジュアル文書検索のための推論なしマルチモーダル学習スパース検索
- Abstract要約: 視覚文書検索のための推論不要スパース検索器であるV-SPLADEを提案する。
V-SPLADEは6つのビジュアルドキュメント検索ベンチマークの平均NDCG@5を、同じスケールの高密度ベースライン上で+13.8pp改善する。
187Mドキュメントコーパスでは、同じスケールの密度のベースライン上でR@5を倍増させる。
- 参考スコア(独自算出の注目度): 30.80883548177376
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As large-scale visual-document corpora such as arXiv papers and enterprise PDFs continue to grow, visual-document retrieval has gained increasing attention; yet it still lacks a deployable system that lexically indexes visual documents to serve queries without neural encoding at scale. Existing methods either achieve strong retrieval quality with VLM-based dense or multi-vector models but require neural query encoding at serving time, or avoid query encoding with OCR- or caption-based BM25 at the cost of time-consuming text extraction or generation. To fill this missing serving regime, we present V-SPLADE, an inference-free sparse retriever for visual-document retrieval. However, such inference-free multimodal learned sparse retrieval systems remain underexplored and have not yet shown dense-level effectiveness under high sparsity. We attribute this limitation to a lexical grounding problem: visual sparse representations often fail to capture the lexical content embedded in document images. To address this problem, we introduce caption-gated token supervision, a training-only signal that uses VLM-generated captions as lexical cues to activate retrieval-relevant vocabulary dimensions. With this supervision, V-SPLADE improves average NDCG@5 across six visual-document retrieval benchmarks by +13.8pp over the same-scale dense baseline and by up to +6.3pp over OCR- or caption-based BM25 baselines. On an 18.7M-document corpus, it more than doubles R@5 over the same-scale dense baseline and further improves competing retrievers through score fusion by up to +2.4pp R@5. Code will be released soon at https://github.com/naver/v-splade.
- Abstract(参考訳): arXivの論文やエンタープライズPDFなどの大規模ビジュアルドキュメントコーパスが増加し続けており、ビジュアルドキュメント検索が注目を集めている一方で、大規模にニューラルエンコーディングせずにクエリを提供するために視覚ドキュメントを語彙的にインデックスするデプロイ可能なシステムがない。
既存の方法は、VLMベースの高密度またはマルチベクトルモデルで強力な検索品質を達成するが、サービス時にニューラルクエリエンコーディングを必要とするか、時間を要するテキスト抽出や生成のコストでOCRまたはキャプションベースのBM25によるクエリエンコーディングを避けるかのいずれかである。
この不足したサービス体制を満たすために,視覚文書検索のための推論不要スパース検索器であるV-SPLADEを提案する。
しかし、そのような推論のないマルチモーダル学習スパース検索システムは未探索のままであり、高い疎度下では、まだ高密度の有効性は示されていない。
視覚的スパース表現は、しばしば文書画像に埋め込まれた語彙内容のキャプチャに失敗する。
この問題に対処するために,VLM生成キャプションを語彙的手がかりとして使用し,検索関連語彙次元を活性化するトレーニング専用信号であるキャプション付きトークン管理を導入する。
この監督により、V-SPLADEは6つのビジュアル文書検索ベンチマークの平均NDCG@5を、同じスケールの高密度ベースラインで+13.8pp、OCRまたはキャプションベースのBM25ベースラインで+6.3pp改善する。
18.7Mドキュメントコーパスでは、同じスケールの高密度ベースライン上でR@5を2倍以上にし、スコアフュージョンを+2.4pp R@5まで改善する。
コードは間もなくhttps://github.com/naver/v-splade.comでリリースされる。
関連論文リスト
- SAGE: Semantic Attribute Graphs for Multi-Entity Visual Retrieval [7.2391463583497995]
我々は、密集した文書画像から意味的エンティティを解析する、トレーニング不要のフレームワークであるSAGEを提案する。
SAGEは意味の希釈を大幅に減らし、パッチレベルとOCRベースの検索ベースラインを上回っている。
論文 参考訳(メタデータ) (2026-09-01T06:07:20Z) - MonkeyOCRv2: A Visual-Text Foundation Model for Document AI [71.06391669976786]
MonkeyOCRv2は、ドキュメントAIのためのビジュアルテキスト事前トレーニングモデルである。
MonkeyDoc v2は17言語にまたがる1億1300万のイメージからなる、最大規模のドキュメントイメージ事前トレーニングコーパスである。
論文 参考訳(メタデータ) (2026-07-13T13:43:39Z) - Doc-V*:Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA [71.42483000929614]
複数ページのドキュメント 視覚的質問回答は、長い、視覚的に密集したドキュメントにおける意味論、レイアウト、および視覚的要素の推論を必要とする。
我々は,多ページDocVQAをシーケンシャルエビデンスアグリゲーションとしてキャストするtextbfOCRフリーエージェントフレームワークであるDoc-$V*$を提案する。
論文 参考訳(メタデータ) (2026-04-15T11:12:27Z) - Multi-Vector Index Compression in Any Modality [73.7330345057813]
後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。
インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。
AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
論文 参考訳(メタデータ) (2026-02-24T18:57:33Z) - $G^2$-Reader: Dual Evolving Graphs for Multimodal Document QA [53.491241153213565]
G2$-Readerはマルチモーダルな質問応答のためのデュアルグラフシステムである。
Qwen3-VL-32B-Instructによる$G2$-Readerの平均精度は66.21%に達し、強力なベースラインとスタンドアローンのGPT-5(53.08%)を上回った。
5つのマルチモーダルドメインにわたるVisDoMBenchでは、Qwen3-VL-32B-Instructを使った$G2$-Readerが平均精度66.21%に達し、強力なベースラインとスタンドアロンのGPT-5(53.08%)を上回っている。
論文 参考訳(メタデータ) (2026-01-29T17:52:54Z) - Generative Recall, Dense Reranking: Learning Multi-View Semantic IDs for Efficient Text-to-Video Retrieval [37.53971258580919]
TVR(Text-to-Video Retrieval)は、ビデオプラットフォームにおいて必須である。
最近の生成的検索 (GR) は、高密度なビデオ埋め込みを個別のセマンティックIDに置き換えている。
本稿では,リフレクティブ・リコールとディエンス・リグレード(GRDR)を用いて,リフレクティブ・リコールとディエンス・リグレード(GRDR)を提案する。
論文 参考訳(メタデータ) (2026-01-29T02:49:33Z) - Beyond Patch Aggregation: 3-Pass Pyramid Indexing for Vision-Enhanced Document Retrieval [0.0]
ドキュメント中心のRAGパイプラインは通常、OCRから始まり、次にチャンキング、テーブル解析、レイアウト再構築のための脆さが続く。
我々は,OCRフリーかつモデル非依存なマルチモーダル検索システムであるVisionRAGを紹介する。
VisionRAGは、ドキュメントを直接イメージとしてインデックスし、レイアウト、テーブル、空間的なキューを保存し、特定の抽出にコミットすることなくセマンティックベクターを構築する。
論文 参考訳(メタデータ) (2025-11-26T07:18:06Z) - MonkeyOCR v1.5 Technical Report: Unlocking Robust Document Parsing for Complex Patterns [80.05126590825121]
MonkeyOCR v1.5は、レイアウト理解とコンテンツ認識の両方を強化する統合ビジョン言語フレームワークである。
複雑なテーブル構造に対処するために,視覚的整合性に基づく強化学習手法を提案する。
2つの特別なモジュール、Image-Decoupled Table ParsingとType-Guided Table Mergingを導入し、テーブルの信頼性の高いパースを可能にする。
論文 参考訳(メタデータ) (2025-11-13T15:12:17Z) - MIRACL-VISION: A Large, multilingual, visual document retrieval benchmark [1.8448587047759064]
MIRACL-VISIONは多言語視覚文書評価評価ベンチマークである。
MIRACL-VISIONは18の言語をカバーし、MIRACLデータセットの拡張である。
我々は,多言語機能に対する最先端のVLMベースの埋め込みモデルのギャップを観察する。
論文 参考訳(メタデータ) (2025-05-16T19:22:19Z) - M-DocSum: Do LVLMs Genuinely Comprehend Interleaved Image-Text in Document Summarization? [49.53982792497275]
本稿では,LVLM(Large Vision-Language Models)が文書中のインターリーブ画像テキストを真に理解しているかどうかを検討する。
既存の文書理解ベンチマークは、しばしば質問応答形式を用いてLVLMを評価する。
マルチモーダル文書要約ベンチマーク(M-DocSum-Bench)について紹介する。
M-DocSum-Benchは500の高品質なarXiv論文と、人間の好みに合わせたインターリーブされたマルチモーダル要約で構成されている。
論文 参考訳(メタデータ) (2025-03-27T07:28:32Z) - LexLIP: Lexicon-Bottlenecked Language-Image Pre-Training for Large-Scale
Image-Text Retrieval [71.01982683581572]
従来の高密度検索パラダイムは、デュアルストリームエンコーダを用いて画像やテキストを高密度表現に符号化することに依存している。
本稿では,語彙空間における疎表現を画像やテキストに対して学習する語彙重み付けパラダイムを提案する。
重要度を意識した辞書表現を学習する新しい事前学習フレームワークを提案する。
我々のフレームワークは、検索速度5.5221.3倍、インデックス記憶メモリ13.248.8倍の高速化を実現している。
論文 参考訳(メタデータ) (2023-02-06T16:24:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。