論文の概要: DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation

• arxiv url: http://arxiv.org/abs/2608.10636v1
• Date: Tue, 11 Aug 2026 08:23:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.959628
• Title: DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation
• Title（参考訳）: DistilVDR:Dual-Student Distillationによるコンパクトなエンド・ツー・エンドビジュアル文書検索ツール
• Abstract要約: DistilVDRは、単一の8B視覚言語教師から両側に蒸留された524MのエンドツーエンドVDRシステムである。 どちらの変種も、最強のサブ-1Bマルチベクターベースラインよりも15.6倍小さいインデックスで100万の文書を格納している。
• 参考スコア（独自算出の注目度）: 10.452905194155285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual document retrieval (VDR) is dominated by multi-billion-parameter models that are slow to index at full corpus scale and expensive to serve. Prior compression routes either train a smaller multi-vector encoder from scratch or distil only the query side; neither yields a compact single-vector retriever end-to-end. We present DistilVDR, a 524M end-to-end VDR system distilled bilaterally from a single 8B vision-language teacher under a pointwise cosine alignment loss. All supervision comes from the frozen teacher's embedding space, which was itself trained with relevance supervision, so the student objective needs no relevance labels, negative sampling, or contrastive term. We match VDR's text-query and image-document input asymmetry with an asymmetric encoder-only student that concentrates visual capacity on the document side and keeps the query side at 70M parameters. We release two variants that share the same encoders and training and differ only in the document encoder's visual-tile budget: DistilVDR-HiRes attains 61.74 average NDCG@5 on ViDoRe v1+v2+v3 (86.9% of the 8B teacher) and leads every reproduced sub-1B baseline on the high-resolution-sensitive v3 benchmark, while DistilVDR-Fast attains 59.98 at a 3 times smaller visual-token budget. Both variants store one million documents in a 15.6 times smaller index than the strongest sub-1B multi-vector baseline and index the corpus an order of magnitude faster. The code is available at https://github.com/Ryenhails/NanoVDR.
• Abstract（参考訳）: ビジュアル文書検索(VDR)は、全コーパススケールでのインデックス化が遅く、提供に費用がかかるマルチビリオンパラメータモデルによって支配されている。 以前の圧縮経路は、より小さなマルチベクトルエンコーダをスクラッチからトレーニングするか、クエリ側だけを消耗させるかのいずれかで、コンパクトな単一ベクトルレトリバーをエンドツーエンドに出力する。 両端から524Mの終端VDRシステムであるDistilVDRを,一対のコサインアライメント損失下で,一対の8B視覚言語教師から蒸留した。 すべての監督は凍結した教師の埋め込み空間からなっており、それ自身は関連性監督のために訓練されているため、学生の目的は関連性ラベル、ネガティブサンプリング、コントラスト項を必要としない。 我々は、VDRのテキストクエリと画像文書入力非対称性を、文書側で視覚能力に集中し、クエリ側を70Mパラメータに維持する非対称エンコーダのみの学生とマッチングする。 DistilVDR-HiRes は ViDoRe v1+v2+v3 (8B 教師の86.9%) で 61.74 平均 NDCG@5 に達し、高解像度の v3 ベンチマークで 再生された Sub-1B ベースラインをリードする一方、 DistilVDR-Fast は 3 倍の予算で 59.98 に達する。 どちらの変種も、最強のサブ1Bマルチベクターベースラインよりも15.6倍小さいインデックスに100万の文書を格納し、コーパスを桁違いに高速にインデックスする。 コードはhttps://github.com/Ryenhails/NanoVDRで公開されている。

関連論文リスト

• Generative Late-Interaction Embeddings For Visual Document Retrieval [3.3830567744123723]
  遅延インタラクション検索は、ビジュアルドキュメント検索の最先端技術だが、ストレージの精度は高い。 GLIE (Generative Late-Interaction Embeddings: k N vectors per page) を紹介する。 ViDoRe v1のページあたりの4つのベクトルでは、GLIEは圧縮されていないシステムのnDCG@5の80%を保持しており、最も優れたポストホック法では70%である。
  論文  参考訳（メタデータ） (2026-09-10T16:58:39Z)
• Matryoshka Hash Representations for Model-Aware Compact Semantic Retrieval [0.4859781642217615]
  マトリオシュカ・ハッシュ表現(MHR)は,前置組織から全幅トレーニングを分離する2段階の手順である。 MHRは.5561 NDCG@10と.6535 Recall@100を32バイトに到達し、同じ予算で最高のベースラインを超えた。 このコードはまた、2つの一般的なパイプラインを強化している: 完全精度の再ランクの候補をショートリストし、低ストレージグラフインデックスをプルーニングする。
  論文  参考訳（メタデータ） (2026-09-07T09:38:28Z)
• Score-Only Distillation for Compact Dense Retrieval [3.340699005490366]
  本研究では,教師が隠れた状態にアクセスすることなく,スコアベクトルから教師のランク付け行動を学習できるかどうかを検討する。 PairMSE損失のメモリ効率向上を目的とした,行中心のスコアベクター目標を用いた。 蒸留した0.6Bの学生はクエリエンコーディングが4.7$times$、ドキュメントエンコーディングが9.7$times$である。
  論文  参考訳（メタデータ） (2026-07-13T12:18:13Z)
• Lost in a Single Vector: Improving Long-Document Retrieval with Chunk Evidence Aggregation [59.438696079345426]
  DICEは、ドキュメントをチャンクに分割し、凍結したモデルで独立してエンコードし、それらを単一のベクタに集約する、トレーニング不要のドキュメントサイド戦略である。 LongEmbedでは、DICEは4つのバックボーン間の検索を改善し、4kトークンを超えるスライスで最大の利益を上げている。 12,779個のフィルターサンプルのうち、DICEは92.8%のケースで単一ベクトルベースラインよりも低いEDIが得られる。
  論文  参考訳（メタデータ） (2026-06-17T07:44:04Z)
• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• NanoVDR: Distilling a 2B Vision-Language Retriever into a 70M Text-Only Encoder for Visual Document Retrieval [8.720698253117837]
  Vision-Language Model (VLM)ベースのレトリバーは、高度な視覚文書検索(VDR)によって印象的な品質を実現している。 文書は視覚的に複雑であり、強い視覚的理解を必要とするのに対し、クエリは単なる短い文字列である。 NanoVDRはこのクエリ-ドキュメント非対称性を利用して、2つのエンコーディングパスを分離する。 問合せテキストのコサインアライメントは、ランクベースやコントラストの代替よりも一貫して優れています。 言語間転送を主要なパフォーマンスボトルネックとして認識し、機械翻訳クエリによるトレーニングデータの拡大により、安価に解決する。
  論文  参考訳（メタデータ） (2026-03-13T09:24:23Z)
• Multi-Vector Index Compression in Any Modality [73.7330345057813]
  後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。 インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。 AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
  論文  参考訳（メタデータ） (2026-02-24T18:57:33Z)
• Beyond Patch Aggregation: 3-Pass Pyramid Indexing for Vision-Enhanced Document Retrieval [0.0]
  ドキュメント中心のRAGパイプラインは通常、OCRから始まり、次にチャンキング、テーブル解析、レイアウト再構築のための脆さが続く。 我々は,OCRフリーかつモデル非依存なマルチモーダル検索システムであるVisionRAGを紹介する。 VisionRAGは、ドキュメントを直接イメージとしてインデックスし、レイアウト、テーブル、空間的なキューを保存し、特定の抽出にコミットすることなくセマンティックベクターを構築する。
  論文  参考訳（メタデータ） (2025-11-26T07:18:06Z)
• GoMatching++: Parameter- and Data-Efficient Arbitrary-Shaped Video Text Spotting and Benchmarking [77.0306273129475]
  ビデオテキストスポッティング(VTS)は、テキストトラッキングを追加することで、画像テキストスポッティング(ITS)を拡張する。 VTSの進歩にもかかわらず、既存のメソッドはまだITSで見られるパフォーマンスに劣っている。 GoMatching++は、既製の画像テキストスポッターをビデオスペシャリストに変換する。
  論文  参考訳（メタデータ） (2025-05-28T11:02:45Z)
• DSV: Exploiting Dynamic Sparsity to Accelerate Large-Scale Video DiT Training [85.04885553561164]
  Diffusion Transformer (DiTs) は高品質なビデオの生成において顕著な性能を示した。 DiTは処理時間の95%を消費し、特別なコンテキスト並列性を要求する。 本稿では,経験的に観察したダイナミックアテンション空間を利用して,DSVによるビデオDiTトレーニングを高速化する手法を提案する。
  論文  参考訳（メタデータ） (2025-02-11T14:39:59Z)
• MV-DETR: Multi-modality indoor object detection by Multi-View DEtecton TRansformers [9.525762324351653]
  本稿では,効率的なトランスベース検出手法として,新しいMV-DETRパイプラインを提案する。 我々は、幾何学とテクスチャの手がかりはどちらも重要であり、別々に符号化できると主張している。 本研究では,ScanNetv2ベンチマークによる新しい技術状態を生成する78%のAPを実現する。
  論文  参考訳（メタデータ） (2024-08-13T03:37:13Z)
• Self-supervised Learning by View Synthesis [62.27092994474443]
  本稿では,視覚変換のための自己教師型学習フレームワークであるビュー合成オートエンコーダ(VSA)について述べる。 各イテレーションにおいて、VSAへの入力は3Dオブジェクトの1つのビュー(または複数のビュー)であり、出力は別のターゲットポーズで合成された画像である。
  論文  参考訳（メタデータ） (2023-04-22T06:12:13Z)
• SOLAR: Sparse Orthogonal Learned and Random Embeddings [45.920844071257754]
  我々は,高次元および超スパース埋め込みが,クエリ効率と精度の両面において,高密度な低次元埋め込みよりもはるかに優れていると論じている。 我々は,最大3つの公開データセット上で1.6万冊の書籍を検索し,複数ラベルの分類を行うタスクに対して,500K次元のSOLAR埋め込みを訓練する。 それぞれのタスクに対して,最大10倍の高速さで,各タスクの最先端のベースラインと比較して,精度とリコールの精度が向上する。
  論文  参考訳（メタデータ） (2020-08-30T17:35:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。