論文の概要: Simple Linear Corrections for Compression in Late Interaction

• arxiv url: http://arxiv.org/abs/2610.14196v1
• Date: Fri, 09 Oct 2026 18:08:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 22:42:28.294048
• Title: Simple Linear Corrections for Compression in Late Interaction
• Title（参考訳）: レイトインタラクションにおける圧縮のための簡易線形補正法
• Abstract要約: 文書ベクトル圧縮後,スコアリング関数の軽量な変更が検索品質を回復できるかどうかを検討する。 エンコーダ,圧縮機,ベクトル予算の組み合わせごとに,大域的線形補正を学習する。 実験では、トレーニング不要な4つの圧縮方法、複数のベクトル予算、ドメイン内適応、MS MARCOからBEIRへの転送をカバーしている。
• 参考スコア（独自算出の注目度）: 2.580765958706854
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Late-interaction (multi-vector) models represent documents using a set of token-level vectors, providing a middle ground between cross-encoders and dense encoders in terms of quality and cost of embedding. However, compared to the latter, the indices are costly to store and score. Pooling and pruning based compression techniques are deployed widely but deteriorate in quality noticeably with aggressive compression. We investigate whether a lightweight change to the scoring function can recover retrieval quality after document-vector compression. For each combination of encoder, compressor, and vector budget, we learn a global linear correction by distilling the uncompressed model's score distributions over candidate documents. The encoder and compressor remain frozen, and the correction can be applied to each query at search time or once, offline, to the stored vectors. We evaluate the method with ColBERTv2 and Jina v4 on MS MARCO and BEIR, and with ColPali2 on the ViDoRe v3 visual document retrieval benchmark. Experiments cover four training-free compression methods, multiple vector budgets, in-domain adaptation, and transfer from MS MARCO to BEIR. In the in-domain setting, the correction improves over baseline compression in 154 of 160 BEIR settings, while transfer from MS MARCO is more variable across models and datasets. We also find that matrices trained with synthetic queries can improve over baseline compression on ViDoRe v3. These results show that a small learned correction can recover some of the quality lost to compression without retraining the encoder or recompressing the documents.
• Abstract（参考訳）: 遅延相互作用(マルチベクトル)モデルは、トークンレベルのベクトルのセットを使用して文書を表現し、埋め込みの品質とコストの観点から、クロスエンコーダと密エンコーダの中間層を提供する。 しかし、後者と比較して、インデックスは保存と得点に費用がかかる。 ポーリングおよびプルーニングに基づく圧縮技術は広く展開されているが、アグレッシブ圧縮により品質が著しく低下している。 文書ベクトル圧縮後,スコアリング関数の軽量な変更が検索品質を回復できるかどうかを検討する。 エンコーダ,圧縮機,ベクトル予算の組み合わせごとに,非圧縮モデルのスコア分布を候補文書上で蒸留することにより,大域的線形補正を学習する。 エンコーダと圧縮機は凍結状態のままであり、検索時またはオフライン時に各クエリに修正を施すことができる。 我々は,MS MARCO と BEIR の ColBERTv2 と Jina v4 と ViDoRe v3 のビジュアル文書検索ベンチマークの ColPali2 を用いて評価を行った。 実験では、トレーニング不要な4つの圧縮方法、複数のベクトル予算、ドメイン内適応、MS MARCOからBEIRへの転送をカバーしている。 ドメイン内の設定では、修正は160 BEIR設定の154のベースライン圧縮よりも改善されるが、MS MARCOからの転送はモデルやデータセット間でより可変である。 また、合成クエリでトレーニングされた行列は、ViDoRe v3のベースライン圧縮を改善することができる。 これらの結果から,エンコーダのトレーニングや文書の圧縮を行なわずに,圧縮に失われる品質のいくつかを復元できることがわかった。

関連論文リスト

• Freeze the Decoder, Heal the Encoder: Parameter-Efficient Adaptation for SVD-Based KV-Cache Compression [2.921159958223653]
  よくあるが欠点は、パラメータ効率の良い微調整レシピを1つの共有学習率で比較することである。 提案手法は,ポストホックSVDに基づくKV-cache圧縮である。 視覚言語モデルを用いて、各アーム単位の学習速度チューニングと構成毎の3つのシードを用いて、このパリティを検証する。
  論文  参考訳（メタデータ） (2026-09-25T20:48:04Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Compressing Many-Shots in In-Context Learning [61.231471139896506]
  マルチショットプロンプトを圧縮することにより,ICL推論のメモリと計算効率を向上させる手法を提案する。 まず,既存のプロンプト圧縮手法がマルチショット圧縮には有効でないことを示す。 本稿では,レイヤワイド圧縮手法であるMemComを提案する。
  論文  参考訳（メタデータ） (2025-10-17T16:57:42Z)
• L3TC: Leveraging RWKV for Learned Lossless Low-Complexity Text Compression [23.179381396167084]
  我々はLearned Lossless Low-complexity Text Compression Method (L3TC)を紹介する。 RWKVモデルは、適度な圧縮比で高速な復号速度を達成する。 本稿では,頻繁なトークンをカバーするために,限定語彙を用いた外部認識トークン化手法を提案する。
  論文  参考訳（メタデータ） (2024-12-21T14:24:32Z)
• DiffRate : Differentiable Compression Rate for Efficient Vision Transformers [98.33906104846386]
  Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。 DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
  論文  参考訳（メタデータ） (2023-05-29T10:15:19Z)
• Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
  我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-03-31T15:44:13Z)
• Exploring Autoencoder-based Error-bounded Compression for Scientific Data [14.724393511470225]
  我々は,SZモデルの観点から,エラーバウンドオートエンコーダベースのフレームワークを開発する。 設計したAEベースエラーバウンド圧縮フレームワークの主段の圧縮品質を最適化する。
  論文  参考訳（メタデータ） (2021-05-25T07:53:32Z)
• Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
  本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。 高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
  論文  参考訳（メタデータ） (2020-11-17T20:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。