論文の概要: NanoVDR: Distilling a 2B Vision-Language Retriever into a 70M Text-Only Encoder for Visual Document Retrieval
- arxiv url: http://arxiv.org/abs/2603.12824v1
- Date: Fri, 13 Mar 2026 09:24:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-16 17:38:12.023902
- Title: NanoVDR: Distilling a 2B Vision-Language Retriever into a 70M Text-Only Encoder for Visual Document Retrieval
- Title（参考訳）: NanoVDR:視覚文書検索のための700万テキスト専用エンコーダに2Bビジョンランゲージレトリバーを蒸留
- Abstract要約: Vision-Language Model (VLM)ベースのレトリバーは、高度な視覚文書検索(VDR)によって印象的な品質を実現している。
文書は視覚的に複雑であり、強い視覚的理解を必要とするのに対し、クエリは単なる短い文字列である。
NanoVDRはこのクエリ-ドキュメント非対称性を利用して、2つのエンコーディングパスを分離する。
問合せテキストのコサインアライメントは、ランクベースやコントラストの代替よりも一貫して優れています。
言語間転送を主要なパフォーマンスボトルネックとして認識し、機械翻訳クエリによるトレーニングデータの拡大により、安価に解決する。
- 参考スコア（独自算出の注目度）: 8.720698253117837
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language Model (VLM) based retrievers have advanced visual document retrieval (VDR) to impressive quality. They require the same multi-billion parameter encoder for both document indexing and query encoding, incurring high latency and GPU dependence even for plain-text queries. We observe that this design is unnecessarily symmetric: documents are visually complex and demand strong visual understanding, whereas queries are just short text strings. NanoVDR exploits this query--document asymmetry by decoupling the two encoding paths: a frozen 2B VLM teacher indexes documents offline, while a distilled text-only student as small as 69M parameters encodes queries at inference. The key design choice is the distillation objective. Through systematic comparison of six objectives across three backbones and 22 ViDoRe benchmark datasets, we find that pointwise cosine alignment on query text consistently outperforms ranking-based and contrastive alternatives, while requiring only pre-cached teacher query embeddings and no document processing during training. Furthermore, we identify cross-lingual transfer as the primary performance bottleneck, and resolve it cheaply by augmenting training data with machine-translated queries. The resulting NanoVDR-S-Multi (DistilBERT, 69M) retains 95.1\% of teacher quality and outperforms DSE-Qwen2 (2B) on v2 and v3 with 32$\times$ fewer parameters and 50$\times$ lower CPU query latency, at a total training cost under 13 GPU-hours.
- Abstract（参考訳）: Vision-Language Model (VLM)ベースのレトリバーは、高度な視覚文書検索(VDR)によって印象的な品質を実現している。
ドキュメントインデックスとクエリエンコーディングの両方に同じマルチビリオンパラメータエンコーダが必要です。
文書は視覚的に複雑であり、強い視覚的理解を必要とするのに対して、クエリは単なる短い文字列である。
凍結された2B VLM教師は文書をオフラインにインデックスし、蒸留されたテキストのみの学生は69Mのパラメータで推論時にクエリをエンコードする。
主要な設計上の選択は蒸留の目的である。
3つのバックボーンと22のViDoReベンチマークデータセットの6つの目標を体系的に比較した結果、クエリテキストに対するポイントワイドなコサインアライメントは、ランキングベースとコントラストのある代替品より一貫して優れており、事前キャッシュされた教師クエリの埋め込みとトレーニング中のドキュメント処理が不要であることがわかった。
さらに,言語間移動を主要な性能ボトルネックとして認識し,機械翻訳クエリによるトレーニングデータの拡大により,安価に解決する。
結果として生まれたNanoVDR-S-Multi (DistilBERT, 69M)は、教師の質の95.1\%を保持し、v2とv3のDSE-Qwen2(2B)を32$\times$少ないパラメータと50$\times$低いCPUクエリレイテンシで上回っている。
関連論文リスト
- ViSAR: Training-Free Adaptive-$k$ Retrieval for Visual Document Question Answering [0.7481381091903384]
ViSAR (Visual Semantic Activation Retrieval) は、遅延対話型視覚文書検索のためのトレーニング不要適応-$k$の検索方法である。
ViSARはクエリ順応したページ集合を検索し、RAGのレイテンシを最大58.7%削減し、回答の精度を維持または改善する。
論文 参考訳（メタデータ） (2026-09-02T11:54:58Z) - DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation [10.452905194155285]
DistilVDRは、単一の8B視覚言語教師から両側に蒸留された524MのエンドツーエンドVDRシステムである。
どちらの変種も、最強のサブ-1Bマルチベクターベースラインよりも15.6倍小さいインデックスで100万の文書を格納している。
論文 参考訳（メタデータ） (2026-08-11T08:23:39Z) - MonkeyOCRv2: A Visual-Text Foundation Model for Document AI [71.06391669976786]
MonkeyOCRv2は、ドキュメントAIのためのビジュアルテキスト事前トレーニングモデルである。
MonkeyDoc v2は17言語にまたがる1億1300万のイメージからなる、最大規模のドキュメントイメージ事前トレーニングコーパスである。
論文 参考訳（メタデータ） (2026-07-13T13:43:39Z) - BRIDGE: Multimodal-to-Text Retrieval via Reinforcement-Learned Query Alignment [5.285385905661152]
最高の視覚言語エンコーダはMM-BRIGHT上で27.6 nDCG@10しか達成せず、強いテキストのみのレシーバーよりも優れています。
マルチモーダルエンコーダを使わずにこのミスマッチを解消する2成分システムである textbfBRIDGE を提案する。
textbfFORGEは強化学習によって訓練されたクエリアライメントモデルであり、ノイズの多いマルチモーダルクエリをコンパクトで検索最適化された検索文字列に蒸留する。
textbfLENSは、ForGEが生成するインテントリッチクエリを処理するために、推論集約検索データに基づいて微調整された、推論強化の高密度レトリバーである。
論文 参考訳（メタデータ） (2026-04-08T15:28:21Z) - SDS KoPub VDR: A Benchmark Dataset for Visual Document Retrieval in Korean Public Documents [10.146296597660598]
既存のビジュアル文書検索(VDR)のベンチマークは、非英語言語と公式出版物の構造的複雑さを概ね見落としている。
SDS KoPub VDRは,韓国の公文書の検索と理解のための,最初の大規模公開ベンチマークである。
ベンチマークは361の現実世界のドキュメント上に構築されており、KOGL Type 1ライセンス下の256ファイル、公式の法的ポータルからの105ファイルが含まれている。
論文 参考訳（メタデータ） (2025-11-07T01:16:07Z) - VisR-Bench: An Empirical Study on Visual Retrieval-Augmented Generation for Multilingual Long Document Understanding [49.07705729597171]
VisR-Benchは、長い文書における質問駆動型マルチモーダル検索のベンチマークである。
ベンチマークは、1.2Kドキュメントで35K以上の高品質なQAペアで構成されています。
テキストベースの手法,マルチモーダルエンコーダ,MLLMなど,さまざまな検索モデルを評価する。
論文 参考訳（メタデータ） (2025-08-10T21:44:43Z) - M-DocSum: Do LVLMs Genuinely Comprehend Interleaved Image-Text in Document Summarization? [49.53982792497275]
本稿では,LVLM(Large Vision-Language Models)が文書中のインターリーブ画像テキストを真に理解しているかどうかを検討する。
既存の文書理解ベンチマークは、しばしば質問応答形式を用いてLVLMを評価する。
マルチモーダル文書要約ベンチマーク(M-DocSum-Bench)について紹介する。
M-DocSum-Benchは500の高品質なarXiv論文と、人間の好みに合わせたインターリーブされたマルチモーダル要約で構成されている。
論文 参考訳（メタデータ） (2025-03-27T07:28:32Z) - MMDocIR: Benchmarking Multimodal Retrieval for Long Documents [44.02536756069517]
この研究は、ページレベルとレイアウトレベルの検索という2つの異なるタスクを含むMMDocIRという新しいベンチマークを導入する。
MMDocIRベンチマークは、専門家によって注釈付けされた1,685の質問と、ブートストラップ付きラベル付き173,843の質問を含む、豊富なデータセットで構成されている。
論文 参考訳（メタデータ） (2025-01-15T14:30:13Z) - mPLUG-DocOwl2: High-resolution Compressing for OCR-free Multi-page Document Understanding [103.05835688963947]
本稿では,高解像度文書画像を324個のトークンに圧縮する高解像度DocCompressorモジュールを提案する。
DocOwl2は、マルチページ文書理解ベンチマークにまたがる最先端の新たなベンチマークを設定し、最初のトークンレイテンシを50%以上削減する。
同様のデータで訓練されたシングルイメージMLLMと比較して、DocOwl2はビジュアルトークンの20%未満で、同等のシングルページ理解性能を実現しています。
論文 参考訳（メタデータ） (2024-09-05T11:09:00Z) - PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。
検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
論文 参考訳（メタデータ） (2024-04-29T04:51:30Z) - DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。
State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。
提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
論文 参考訳（メタデータ） (2023-05-23T10:39:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。