論文の概要: ColNanoVDR: Document-Free Query Distillation for Multi-Vector Visual Document Retrieval via Optimal Transport
- arxiv url: http://arxiv.org/abs/2609.34899v1
- Date: Mon, 28 Sep 2026 11:05:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:54:17.216579
- Title: ColNanoVDR: Document-Free Query Distillation for Multi-Vector Visual Document Retrieval via Optimal Transport
- Title（参考訳）: ColNanoVDR: 最適転送によるマルチベクトルビジュアル文書検索のためのドキュメントフリークエリ蒸留
- Abstract要約: NanoVDRは、教師のクエリの埋め込みだけでトレーニングすることで、ページを完全に回避する。
我々は,このドキュメンテーションをマルチベクタVDRに導入する最初のフレームワークについて,ColNanoVDRを紹介した。
- 参考スコア（独自算出の注目度）: 10.452905194155285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-vector retrievers built on vision-language models lead visual document retrieval (VDR), but they run a multi-billion-parameter query encoder on every search. Distilling this encoder into a small student that queries the teacher's existing index would remove the bottleneck. The standard recipe, however, matches the teacher's MaxSim scores and so requires encoding and caching every training page, which can reach terabytes of page tokens. NanoVDR avoids pages entirely by training on the teacher's query embeddings alone, but only for single-vector retrievers. We present ColNanoVDR, to our knowledge the first framework to bring this document-free distillation to multi-vector VDR. Its objective, OTW (Optimal Transport with Learned Weights), aligns the student's query tokens with the teacher's by entropic optimal transport, with a learned weight for each student token, and needs no correspondence between the two tokenizations. We prove that the resulting alignment cost bounds the MaxSim score difference on every page. Distilled from five state-of-the-art teachers, the 149M text-only students retain about 95% of their teachers' NDCG@5 on ViDoRe v1-v3 while encoding queries up to 26x faster. Under identical training, OTW matches score distillation while encoding no page and reading 12.6x less cached teacher data.
- Abstract（参考訳）: 視覚言語モデル上に構築されたマルチベクトルレトリバーは、視覚文書検索(VDR)をリードするが、検索毎にマルチビリオンパラメータクエリエンコーダを実行する。
教師の既存のインデックスを問い合わせる小さな学生にこのエンコーダを蒸留すると、ボトルネックが取り除かれる。
しかし、標準的なレシピは教師のMaxSimスコアと一致しているため、各トレーニングページのエンコーディングとキャッシュが必要で、テラバイトのページトークンに到達できる。
NanoVDRは、教師のクエリ埋め込みのみをトレーニングすることで、ページを完全に回避するが、シングルベクターレトリバーのみに限られる。
我々は,このドキュメンテーションをマルチベクタVDRに導入する最初のフレームワークについて,ColNanoVDRを紹介した。
その目的であるOTW(Optimal Transport with Learned Weights)は、生徒の問合せトークンを、エントロピー的最適輸送によって教師のものと整合させ、各学生のトークンの学習重量を調整し、2つのトークン間の対応を必要としない。
結果として得られるアライメントコストが、各ページにおけるMaxSimスコアの差に制約があることを証明します。
ViDoRe v1-v3で教師のNDCG@5の95%を保持し、クエリを最大26倍高速にエンコードする。
同じトレーニングの下で、OTWはページをエンコードせず、12.6倍少ないキャッシュの教師データを読みながら、蒸留値にマッチする。
関連論文リスト
- Query, Align, and Distill: Navigation-Aware Cross-Modal Interaction for Efficient Vision-and-Language Navigation [17.30435908734861]
ナビゲーションエビデンスを明確かつ圧縮可能な,高性能な教師を構築する。
私たちは、出席する場所と何をすべきかを移すことで、コンパクトな学生を訓練します。
標準VLNベンチマークの実験では、我々の学生は教師のナビゲーション性能とほぼ一致し、教師と比較してパラメータの数を93.65%削減した。
論文 参考訳（メタデータ） (2026-09-27T02:08:25Z) - DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation [10.452905194155285]
DistilVDRは、単一の8B視覚言語教師から両側に蒸留された524MのエンドツーエンドVDRシステムである。
どちらの変種も、最強のサブ-1Bマルチベクターベースラインよりも15.6倍小さいインデックスで100万の文書を格納している。
論文 参考訳（メタデータ） (2026-08-11T08:23:39Z) - Score-Only Distillation for Compact Dense Retrieval [3.340699005490366]
本研究では,教師が隠れた状態にアクセスすることなく,スコアベクトルから教師のランク付け行動を学習できるかどうかを検討する。
PairMSE損失のメモリ効率向上を目的とした,行中心のスコアベクター目標を用いた。
蒸留した0.6Bの学生はクエリエンコーディングが4.7$times$、ドキュメントエンコーディングが9.7$times$である。
論文 参考訳（メタデータ） (2026-07-13T12:18:13Z) - NanoVDR: Distilling a 2B Vision-Language Retriever into a 70M Text-Only Encoder for Visual Document Retrieval [8.720698253117837]
Vision-Language Model (VLM)ベースのレトリバーは、高度な視覚文書検索(VDR)によって印象的な品質を実現している。
文書は視覚的に複雑であり、強い視覚的理解を必要とするのに対し、クエリは単なる短い文字列である。
NanoVDRはこのクエリ-ドキュメント非対称性を利用して、2つのエンコーディングパスを分離する。
問合せテキストのコサインアライメントは、ランクベースやコントラストの代替よりも一貫して優れています。
言語間転送を主要なパフォーマンスボトルネックとして認識し、機械翻訳クエリによるトレーニングデータの拡大により、安価に解決する。
論文 参考訳（メタデータ） (2026-03-13T09:24:23Z) - Dual Learning with Dynamic Knowledge Distillation and Soft Alignment for Partially Relevant Video Retrieval [53.54695034420311]
実際には、ビデオは通常、より複雑な背景コンテンツによって、長い時間で切り離される。
本稿では,大規模視覚言語事前学習モデルから一般化知識を抽出する新しい枠組みを提案する。
実験により,本モデルがTVR,ActivityNet,Charades-STAデータセット上での最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2025-10-14T08:38:20Z) - mPLUG-DocOwl2: High-resolution Compressing for OCR-free Multi-page Document Understanding [103.05835688963947]
本稿では,高解像度文書画像を324個のトークンに圧縮する高解像度DocCompressorモジュールを提案する。
DocOwl2は、マルチページ文書理解ベンチマークにまたがる最先端の新たなベンチマークを設定し、最初のトークンレイテンシを50%以上削減する。
同様のデータで訓練されたシングルイメージMLLMと比較して、DocOwl2はビジュアルトークンの20%未満で、同等のシングルページ理解性能を実現しています。
論文 参考訳（メタデータ） (2024-09-05T11:09:00Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳（メタデータ） (2023-01-27T22:04:37Z) - Precise Zero-Shot Dense Retrieval without Relevance Labels [60.457378374671656]
仮説文書埋め込み(英: hypothetical Document Embeddings, HyDE)は、ゼロショット高密度検索システムである。
我々は,HyDEが最先端の非教師付き高密度検索器であるContrieverを著しく上回っていることを示す。
論文 参考訳（メタデータ） (2022-12-20T18:09:52Z) - CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for
Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。
これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。
動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
論文 参考訳（メタデータ） (2022-11-18T18:27:35Z) - Predicting Multi-Codebook Vector Quantization Indexes for Knowledge
Distillation [24.74672037572804]
知識蒸留(KD)は,音声認識におけるモデル性能向上のための一般的な手法である。
従来のKD法は、特にトレーニングコーパスが大きい場合、教師ラベル記憶の問題に悩まされる。
我々は,教師の埋め込みをコードブックインデックスに圧縮する,新しいマルチコードブックベクトル量子化(MVQ)手法を提案する。
MVQ-KDフレームワークは従来のKDメソッドと同等のパフォーマンスを達成し、256倍のストレージを必要とする。
論文 参考訳（メタデータ） (2022-10-31T07:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。