論文の概要: Learn to Pool: Lightweight Fine-Tuning for Flexible Multi-Vector Compression

• arxiv url: http://arxiv.org/abs/2607.06036v1
• Date: Tue, 07 Jul 2026 09:12:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.46494
• Title: Learn to Pool: Lightweight Fine-Tuning for Flexible Multi-Vector Compression
• Title（参考訳）: プールを学ぶ:柔軟マルチベクトル圧縮のための軽量ファインチューニング
• Abstract要約: 後期の相互作用モデルは強力な一般化能力を示し、しばしばより大きな密度の埋め込みモデルよりも優れている。 広くデプロイする上での課題のひとつは、ドキュメント毎に生成される大量のトークンベクタだ。 そこで本研究では,k-meansを用いた最小プールアウェアトレーニングにおいても,より広い利得が得られることを発見した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Late interaction models have shown strong generalization capabilities, often outperforming much larger dense embedding models. One challenge to their widespread deployment is the large number of token vectors they produce per document and the associated storage and memory costs. Pooling tokens at inference time has shown great promise to reduce the vector count with limited effects on retrieval accuracy. Large-scale pooling-aware training has demonstrated even more impressive results at high compression rates. We propose lightweight fine-tuning as a practical alternative and find that even minimal pooling-aware training with k-means yields broad gains over inference-only pooling, shows evidence of transfer across pooling methods and datasets, and - with multi-factor training - produces a single model effective across different compression levels. Our strongest model outperforms the unpooled baseline on BEIR SciFact across pool factors 1-6, implying a vector compression rate of 83% at no cost to retrieval accuracy.
• Abstract（参考訳）: 後期の相互作用モデルは強力な一般化能力を示し、しばしばより大きな密度の埋め込みモデルよりも優れている。 広くデプロイする上での課題のひとつは、ドキュメント毎に生成する大量のトークンベクタと、関連するストレージとメモリコストだ。 推定時刻におけるポウリングトークンは,検索精度に限られた影響でベクトル数を減少させるという大きな可能性を示している。 大規模なプールアウェアトレーニングは、高い圧縮速度でさらに印象的な結果を示している。 そこで本研究では,k-meansを用いた最小限のプールアウェアトレーニングにおいても,推論のみのプールよりも広い利得が得られること,プール手法やデータセット間での転送の証拠を示すこと,マルチファクタのトレーニングによって,異なる圧縮レベルにわたって有効な単一モデルを生成すること,などを提案する。 我々の最強のモデルでは、BEIR SciFact の非プールベースラインをプールファクター 1-6 で上回り、ベクトル圧縮率が 83% であることを示す。

関連論文リスト

• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Repulsor: Accelerating Generative Modeling with a Contrastive Memory Bank [65.00301565190824]
  mnameは、外部エンコーダを必要としない、プラグアンドプレイのトレーニングフレームワークである。 mnameは400kのステップでtextbf2.40 の最先端 FID を達成し、同等のメソッドを著しく上回っている。
  論文  参考訳（メタデータ） (2025-12-09T14:39:26Z)
• Simple Context Compression: Mean-Pooling and Multi-Ratio Training [12.049015994907629]
  我々は、広く使われている圧縮トークンアーキテクチャを一貫して上回る軽量でシンプルな平均プール手法を開発した。 ドメイン内およびドメイン外QAデータセット、モデルファミリ、スケール、圧縮比にわたって、広範な実験を行います。 全体としては,複数の圧縮比のトレーニングを行う場合,比較的少ない低下率で,本手法は最強性能を達成する。
  論文  参考訳（メタデータ） (2025-10-23T17:57:23Z)
• Compressing Many-Shots in In-Context Learning [61.231471139896506]
  マルチショットプロンプトを圧縮することにより,ICL推論のメモリと計算効率を向上させる手法を提案する。 まず,既存のプロンプト圧縮手法がマルチショット圧縮には有効でないことを示す。 本稿では,レイヤワイド圧縮手法であるMemComを提案する。
  論文  参考訳（メタデータ） (2025-10-17T16:57:42Z)
• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Unified Scaling Laws for Compressed Representations [69.72517034565467]
  各種圧縮表現上でのトレーニングにおいて,統合スケーリングフレームワークがモデル性能を正確に予測できるかどうかを検討する。 我々の主な発見は、単純な「容量」計量が存在するという理論と経験の両方を実証することである。 我々は、圧縮されたフォーマットの精度を直接比較し、スパース量子化されたフォーマットのトレーニングのためのより良いアルゴリズムを導出するために、定式化を拡張した。
  論文  参考訳（メタデータ） (2025-06-02T16:52:51Z)
• Simplifying CLIP: Unleashing the Power of Large-Scale Models on Consumer-level Computers [3.2492319522383717]
  Contrastive Language-Image Pre-Training (CLIP) はその優れたゼロショット性能と下流タスクへの優れた転送性のために注目を集めている。 しかし、そのような大規模モデルのトレーニングは通常、実際の計算とストレージを必要とするため、一般ユーザにとって消費者レベルのコンピュータでは障壁となる。
  論文  参考訳（メタデータ） (2024-11-22T08:17:46Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Retraining-free Model Quantization via One-Shot Weight-Coupling Learning [41.299675080384]
  混合精度量子化(MPQ)は、層に不均一なビット幅を割り当てることで、モデルを効果的に圧縮することを提唱する。 MPQは典型的には、探索訓練された2段階のプロセスに編成される。 本稿では,混合精度モデル圧縮のためのワンショットトレーニング探索パラダイムを考案する。
  論文  参考訳（メタデータ） (2024-01-03T05:26:57Z)
• Pufferfish: Communication-efficient Models At No Extra Cost [7.408148824204065]
  Pufferfishはコミュニケーションと効率的な分散トレーニングフレームワークです。 低ランクで事前リファクタリングされたディープネットワークをトレーニングすることで、勾配圧縮をモデルトレーニングプロセスに組み込む。 最先端の市販の深層モデルと同じ精度を実現している。
  論文  参考訳（メタデータ） (2021-03-05T20:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。