論文の概要: AdaMerge: Tuning-Free Patch Compression for Multi-Vector Visual Document Retrieval
- arxiv url: http://arxiv.org/abs/2609.22562v1
- Date: Fri, 18 Sep 2026 20:29:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.448684
- Title: AdaMerge: Tuning-Free Patch Compression for Multi-Vector Visual Document Retrieval
- Title（参考訳）: AdaMerge:マルチベクトルビジュアルドキュメント検索のためのチューニング不要なパッチ圧縮
- Abstract要約: 本稿では,AdaMergeを提案する。AdaMergeは,マージコサイン軌道上のギャップ解析により,各文書の崖面を検出するプラグイン・アンド・プレイ圧縮手法である。
AdaMergeはドキュメント毎に10ミリ秒しか追加せず、すべてのデータセットとバックボーン間で共有される単一のグローバルハイパーパラメータを公開する。
- 参考スコア（独自算出の注目度）: 0.8021197489470758
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-vector visual document retrieval (VDR) models such as ColPali and ColNomic achieve strong accuracy by representing each document with hundreds to thousands of patch-level embeddings, at substantial storage and latency cost. Existing compression methods either prune unimportant patches or merge similar ones into clusters; the recent state-of-the-art merging method Prune-then-Merge (PtM) consistently outperforms pruning-only baselines at high compression, but requires a per-dataset cluster budget m to be tuned by grid search. We observe that the merge-cosine sequence produced by hierarchical clustering exhibits a sharp cliff separating mergeable redundancy from salient signal, and that the location of this cliff is concentrated in a narrow band across more than 11,000 documents from 14 datasets. This suggests the merge boundary can be detected per document rather than tuned per dataset. Building on this observation, we propose AdaMerge, a plug-and-play compression method that (i) detects each document's own cliff via gap analysis on the merge-cosine trajectory, and (ii) builds attention-weighted cluster centroids to preserve salient signal. On the long-document benchmark ViDoRe-V2 (4 datasets, two backbones), AdaMerge significantly outperforms tuned PtM across the operating range (p < 10^-4); on the short-document benchmark ViDoRe-V1 (10 datasets, two backbones), where all merging methods are already near-lossless, AdaMerge matches tuned PtM without any per-dataset tuning. AdaMerge adds only about 10 ms per document and exposes a single global hyperparameter shared across all datasets and backbones.
- Abstract（参考訳）: ColPaliやColNomicのようなマルチベクタビジュアルドキュメント検索(VDR)モデルは、数百から数千のパッチレベルの埋め込みで各ドキュメントを表現することで、相当なストレージとレイテンシコストで、高い精度を達成する。
既存の圧縮方法は、重要でないパッチをプルーーンするか、類似のパッチをクラスタにマージするかのいずれかであり、最近の最先端のマージメソッドPrune-then-Merge (PtM) は、高い圧縮でプルーニングのみのベースラインを一貫して上回っているが、グリッドサーチによって調整されるためにデータセット単位のクラスタ予算mを必要とする。
階層的なクラスタリングによって生成されたマージ・コサイン配列は,有意な信号からマージ可能な冗長性を分離したシャープな崖を示し,14のデータセットから11,000以上のドキュメントにまたがる狭い帯に崖の位置が集中していることを観察した。
これは、データセット毎にチューニングされるのではなく、ドキュメント毎にマージ境界を検出することができることを示唆している。
この観測に基づいて,プラグアンドプレイ圧縮法であるAdaMergeを提案する。
(i)マージコサイン軌道のギャップ解析により各文書の崖を検知し、
(ii) 注意重み付きクラスタ・セントロイドを構築し, 健全な信号の保存を行う。
長期ドキュメントベンチマークのViDoRe-V2(4つのデータセット、2つのバックボーン)では、AdaMergeは運用範囲(p < 10^-4)でチューニングされたPtMを大幅に上回り、短期ドキュメントベンチマークのViDoRe-V1(10のデータセット、2つのバックボーン)では、すべてのマージメソッドがほぼロスレスであり、AdaMergeはデータセット単位のチューニングなしでチューニングされたPtMにマッチする。
AdaMergeはドキュメントあたり10ミリ秒しか追加せず、すべてのデータセットとバックボーン間で共有される単一のグローバルハイパーパラメータを公開する。
関連論文リスト
- PDMR: Passage-Driven Multi-ID Document Retrieval [1.1661238776379117]
Passage-Driven Multi-ID Retrieval (PDMR) は、複数のパスレベル識別子を通じて文書を表す生成的検索フレームワークである。
PDMRは各ドキュメントを分割し、選択された各パスに1つの識別子を割り当て、同じドキュメントを取得するための複数のセマンティックエントリポイントを提供する。
論文 参考訳（メタデータ） (2026-09-08T13:58:59Z) - Coverage Matters: MarginMerge for Compressing Multi-Vector Visual Document Retrievers [9.219654543285145]
冷凍多ベクトルレシーバの圧縮法であるMarginMergeを紹介する。
カバレッジ対応アンカー、クラスタドキュメントパッチを選択し、軽量な共有ネットワークを使用してクラスタ毎に1つの代表を合成する。
ColQwen2.5とColPaliの2つのデータセットで、MarginMergeは5%と10%のベクトル保持で一致したクエリ非依存の平均を達成している。
論文 参考訳（メタデータ） (2026-08-04T00:05:40Z) - Improving Long-Context Retrieval with Multi-Prefix Embedding [64.08968715893504]
Multi-Prefix Embeddingは、ドキュメントをEOSトークンで区切られたチャンクに分割し、完全なシーケンスを単一の因果フォワードパスにエンコードし、各プレフィックス境界に1つの埋め込みを抽出する。
MPEはクロスチャンクコンテキストを保持し、チャンクレベルのMaxSimマッチングを可能にし、ドキュメントレベルの関連ラベルのみをトレーニングする。
論文 参考訳（メタデータ） (2026-06-22T17:31:02Z) - MINER: Mining Multimodal Internal Representation for Efficient Retrieval [30.225207646393542]
MINER (Mining Multimodal Internal RepreseNtation for Efficient Retrieval) は、トランスフォーマー層をまたいだ内部信号を単一のコンパクトな埋め込みに変換する軽量なプラグインモジュールである。
ViDoRe V1/V2/V3全体で、MINERは既存の高密度なシングルベクターレトリバーをベンチマークの大部分で上回り、対応するバックボーンよりも最大4.5%のnDCG@5改善されている。
論文 参考訳（メタデータ） (2026-05-07T15:51:06Z) - Multi-Vector Index Compression in Any Modality [73.7330345057813]
後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。
インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。
AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
論文 参考訳（メタデータ） (2026-02-24T18:57:33Z) - MonkeyOCR v1.5 Technical Report: Unlocking Robust Document Parsing for Complex Patterns [80.05126590825121]
MonkeyOCR v1.5は、レイアウト理解とコンテンツ認識の両方を強化する統合ビジョン言語フレームワークである。
複雑なテーブル構造に対処するために,視覚的整合性に基づく強化学習手法を提案する。
2つの特別なモジュール、Image-Decoupled Table ParsingとType-Guided Table Mergingを導入し、テーブルの信頼性の高いパースを可能にする。
論文 参考訳（メタデータ） (2025-11-13T15:12:17Z) - UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。
UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。
実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
論文 参考訳（メタデータ） (2025-10-04T04:30:13Z) - Scaling Multi-Document Event Summarization: Evaluating Compression vs. Full-Text Approaches [5.856976164399712]
大規模なマルチドキュメント要約(MDS)のための2種類のシステムとは対照的に、圧縮とフルテキストである。
フルテキストメソッドは、長期コンテキスト推論の最近の進歩に頼って、損失のない要約を約束する。
圧縮に基づく手法は、中間段階において強い確証を示し、フルコンテキストよりも優れていることを示す。
論文 参考訳（メタデータ） (2025-02-10T16:15:08Z) - Rethinking Large-scale Dataset Compression: Shifting Focus From Labels to Images [60.42768987736088]
蒸留と刈り取りの両文献の方法論を公平に評価するベンチマークを導入する。
我々のベンチマークでは、大規模データセットの主流データセット蒸留設定において、ランダムに選択されたサブセットでさえ驚くほどの競争性能を達成できることが示されている。
我々は、画像データのみを活用することに焦点を当てた、Prune, Combine, Augment(PCA)と呼ばれるデータセット圧縮のための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-10T13:11:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。