論文の概要: Query-Aware Token Budgeting for Efficient Late-Interaction Visual Document Retrieval
- arxiv url: http://arxiv.org/abs/2609.07262v1
- Date: Mon, 07 Sep 2026 09:18:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.40314
- Title: Query-Aware Token Budgeting for Efficient Late-Interaction Visual Document Retrieval
- Title(参考訳): 効率的な遅延対話型ビジュアル文書検索のためのクエリ対応トークン予算化
- Abstract要約: 遅延処理による視覚的文書検索は、ページ毎に多数のトークン埋め込みを格納することで、きめ細かいページ証拠を保存する。
提案手法は,高度に圧縮されたホットパスインデックスが候補を生成し,その後,ショートリストページのオリジナルトークンセット上でクエリ対応トークン予算処理を行う方法である。
- 参考スコア(独自算出の注目度): 2.9503571330401814
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Late-interaction visual document retrievers preserve fine-grained page evidence by storing many token embeddings per page, but the resulting storage and query-time interaction costs make large-scale deployment expensive. Pooling document tokens before indexing offers a natural remedy, yet static pooling must decide which visual evidence to preserve before the query is known. We study an alternative: a heavily compressed hot-path index generates candidates, after which query-aware token budgeting operates on the original token sets of the shortlisted pages. We formulate this stage-two selection as a budgeted MaxSim coverage problem, show that a clipped version is monotone submodular, and compare coverage-only, cluster-guided, token-wise, and marginal-gain policies. On ten ViDoRe tasks with ColModernVBERT, direct static pooling reduces macro normalized discounted cumulative gain at rank five from 0.6309 without compression to 0.4738 at a thirty-two-fold pool factor. Under the same candidate-generation regime and a pool-factor-eight-equivalent reranking budget, token top-k recovers 93.93 percent of the full-token score, while greedy marginal-gain selection recovers 98.39 percent. Held-out and leave-one-dataset-out evaluations yield positive greedy improvements over token top-k on every dataset. The latency analysis reveals two useful operating points: token top-k for interactive retrieval and the naive greedy implementation as a quality upper envelope. Together, these results show that late-interaction visual retrieval benefits from query-aware allocation rather than query-agnostic pooling alone.
- Abstract(参考訳): 遅延処理によるビジュアルドキュメント検索では,ページ毎に多数のトークン埋め込みを格納することで,詳細なページ証拠を保存できる。
インデックス化の前にドキュメントトークンをポーリングすることは自然な対策を提供するが、静的プーリングはクエリが知られる前にどのビジュアルエビデンスを保存するかを決定する必要がある。
提案手法は,高度に圧縮されたホットパスインデックスが候補を生成し,その後,ショートリストページのオリジナルトークンセット上でクエリ対応トークン予算処理を行う方法である。
我々は、このステージ2選択を予算化されたMaxSimカバレッジ問題として定式化し、クリップされたバージョンが単調なサブモジュールであることを示し、カバレッジのみ、クラスタ誘導、トークンワイド、マージゲインポリシーを比較した。
ColModernVBERT の 10 つの ViDoRe タスクでは、直接静的プーリングは 5 階のマクロ正規化割引累積ゲインを、圧縮なしで 0.6309 から 0.4738 に減らした。
同じ候補世代体制とプールファクターの8分の1の予算の下で、トークントップkは全得点の93.93パーセントを回復し、グリーディの限界利得選択は98.39パーセントを回復した。
Held-out と leave-one-dataset-out の評価は、すべてのデータセットでトークントップkよりも肯定的な改善をもたらす。
遅延解析により,対話型検索のためのトークントップ-kと,高品質な上層封筒としてのナイーブグリーディ実装の2つの操作ポイントが明らかになった。
これらの結果は、クエリ非依存のプーリング単独よりも、クエリ対応のアロケーションによる遅延相互作用による視覚的検索の利点を示している。
関連論文リスト
- Pre-retrieval Query Clustering for Adaptive Top-k Document Retrieval in RAG Systems [7.440012812118169]
RAGシステムは通常、固定数の文書を基底生成に検索する。
単純なクエリは過剰検索(ノイズとコストを追加する)に悩まされ、複雑なクエリは未検索である。
本稿では,クエリ適応検索のための実用的,汎用的なフレームワークを提案する。
論文 参考訳(メタデータ) (2026-09-11T19:57:12Z) - VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳(メタデータ) (2026-08-18T15:23:06Z) - Difficulty-Gated Fusion of Reasoning Views for Temporal Retrieval [22.82938587928396]
推論集約的な時間的検索は、共有時間的推論に依存している文書とクエリをマッチングする必要がある。
そこで本研究では,問合せに難渋した推論ビューの融合を提案する。
論文 参考訳(メタデータ) (2026-08-09T22:31:49Z) - LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference [63.932718076408584]
LASTは、エッジクラウド協調MLLM推論におけるクエリ依存のビジュアルトークンプルーニングのための、トレーニング不要のフレームワークである。
完全な精度の95.4%を維持し、視覚トークンの12.5%しか保持せず、エッジ側の選択オーバーヘッドは低く、クラウド側の計算は少ない。
論文 参考訳(メタデータ) (2026-07-30T09:59:25Z) - miniReranker: Efficient Multimodal Reranking through Visual Cache Reuse and Interaction Sparsity [21.54829080388454]
MLLM(Multimodal large language model)は、最近ポイントワイド・リランカとして大きな可能性を示している。
しかし、ポイントワイドリグレードは、クエリーとドキュメントのペア間で大幅に繰り返される計算に悩まされる。
本稿では,キャッシュ再利用の効率化と性能の見直しを両立させる,$textitvision-first$の定式化を提案する。
論文 参考訳(メタデータ) (2026-06-09T12:11:02Z) - Closing the Indexing-Decoding Gap in Multimodal Generative Retrieval via Prefix Retention Optimization [68.48718919047127]
マルチモーダル生成検索式は、複数のモーダル検索を離散識別子生成として定義し、外部埋め込みよりも明示的な類似性探索を不要とする。
既存の手法では、残差量子化によって識別子を構築し、トリエ制約ビームサーチでデコードする。
この組み合わせは、インデックス化とデコーディングのギャップを導入している: 識別子学習の目的は、再構成や対照的な損失を含むが、デコーディング中にプレフィックスの識別性を明示的に強制しない。
1)プレフィックスの格付け蒸留は、リストワイドロスを用いた事前量子化埋め込みによって誘導されるプレフィックスと整合する; (ii)語彙スケジューリングは、コードブックを増大させる。
論文 参考訳(メタデータ) (2026-06-08T09:15:47Z) - PARCEL: Pool-Anchored Resampling with Conditioned Elastic Queries for Efficient Vision-Language Understanding [88.17174909130188]
LVLM(Large Vision-Language Models)は、視覚的な入力を高密度なトークンシーケンスにマッピングし、推論に二次的な計算ボトルネックを与える。
特徴抽出の労力を動的に分配する視覚トークン化アーキテクチャであるPARCELを紹介する。
PARCELは、既存のマトリシカベースラインを「一度にトレーニングし、どこにでもデプロイする」パラダイムを保ちながら、視覚障害者の予算で一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2026-05-28T15:57:31Z) - PRISM: Pareto-Efficient Retrieval over Intent-Aware Structured Memory for Long-Horizon Agents [9.504077408241544]
ロングホライゾン言語エージェントは、どの固定されたコンテキストウィンドウよりもはるかに早く会話履歴を蓄積する。
PRISMは、長期記憶を共同検索・圧縮問題として扱う訓練不要な検索サイドフレームワークである。
論文 参考訳(メタデータ) (2026-05-12T15:28:30Z) - Col-Bandit: Zero-Shot Query-Time Pruning for Late-Interaction Retrieval [2.159285655678094]
Col-Banditは、Pop-K$識別問題として再ランク付けすることで、この計算負担を軽減するクエリ時プルーニングアルゴリズムである。
ドキュメント全体やトークンをオフラインにプルークする粗い粒度のアプローチとは異なり、Col-Banditはオンザフライで相互作用行列をスペーサーする。
実験の結果、Col-Bandit は MaxSim FLOPs を最大 5$times$ まで下げながらランキングの忠実さを保っていることがわかった。
論文 参考訳(メタデータ) (2026-02-02T21:27:01Z) - SCOPE: Saliency-Coverage Oriented Token Pruning for Efficient Multimodel LLMs [59.415473779171315]
textbfSaliency-textbfCoverage textbfOriented token textbfPruning for textbfEfficient MLLMs。
論文 参考訳(メタデータ) (2025-10-28T09:29:37Z) - Cluster-based Adaptive Retrieval: Dynamic Context Selection for RAG Applications [8.946586077722822]
クラスタベースのAdaptive Retrieval (CAR) は、順序付きクエリ文書類似度距離のクラスタリングパターンを分析して、最適な文書数を決定するアルゴリズムである。
CARは、常に最適な検索深度を選択し、最高TESスコアを達成し、固定されたトップkベースラインを全て上回る。
論文 参考訳(メタデータ) (2025-10-02T05:11:12Z) - Training Greedy Policy for Proposal Batch Selection in Expensive Multi-Objective Combinatorial Optimization [52.80408805368928]
本稿では,バッチ取得のための新しいグリーディ型サブセット選択アルゴリズムを提案する。
赤蛍光タンパク質に関する実験により,提案手法は1.69倍少ないクエリでベースライン性能を達成できることが判明した。
論文 参考訳(メタデータ) (2024-06-21T05:57:08Z) - Session-Aware Query Auto-completion using Extreme Multi-label Ranking [61.753713147852125]
本稿では,セッション対応クエリ自動補完の新たな手法を,XMR(Multi Multi-Xtreme Ranking)問題として取り上げる。
アルゴリズムのキーステップにいくつかの修正を提案することにより、この目的のために一般的なXMRアルゴリズムを適応させる。
当社のアプローチは、セッション情報を活用しながら、自動補完システムの厳しいレイテンシ要件を満たします。
論文 参考訳(メタデータ) (2020-12-09T17:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。