論文の概要: Drift-Adapter: A Practical Approach to Near Zero-Downtime Embedding Model Upgrades in Vector Databases
- arxiv url: http://arxiv.org/abs/2509.23471v1
- Date: Sat, 27 Sep 2025 19:47:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.247338
- Title: Drift-Adapter: A Practical Approach to Near Zero-Downtime Embedding Model Upgrades in Vector Databases
- Title(参考訳): Drift-Adapter:ベクトルデータベースにおけるゼロ時間埋め込みモデルアップグレードの実践的アプローチ
- Authors: Harshil Vejendla,
- Abstract要約: 本稿では,モデルバージョン間の埋め込み空間をブリッジする軽量で学習可能な変換層であるDrift-Adapterを提案する。
新しいクエリをレガシな埋め込みスペースにマッピングすることで、Drift-Adapterは既存のANNインデックスの継続的な使用を可能にする。
フルインデクシングやデュアルインデクシングサービスといった運用戦略と比較して、Drift-Adapterは再計算コストを100倍以上削減し、ほぼゼロの運用中断によるアップグレードを容易にする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Upgrading embedding models in production vector databases typically requires re-encoding the entire corpus and rebuilding the Approximate Nearest Neighbor (ANN) index, leading to significant operational disruption and computational cost. This paper presents Drift-Adapter, a lightweight, learnable transformation layer designed to bridge embedding spaces between model versions. By mapping new queries into the legacy embedding space, Drift-Adapter enables the continued use of the existing ANN index, effectively deferring full re-computation. We systematically evaluate three adapter parameterizations: Orthogonal Procrustes, Low-Rank Affine, and a compact Residual MLP, trained on a small sample of paired old and new embeddings. Experiments on MTEB text corpora and a CLIP image model upgrade (1M items) show that Drift-Adapter recovers 95-99% of the retrieval recall (Recall@10, MRR) of a full re-embedding, adding less than 10 microseconds of query latency. Compared to operational strategies like full re-indexing or dual-index serving, Drift-Adapter reduces recompute costs by over 100 times and facilitates upgrades with near-zero operational interruption. We analyze robustness to varied model drift, training data size, scalability to billion-item systems, and the impact of design choices like diagonal scaling, demonstrating Drift-Adapter's viability as a pragmatic solution for agile model deployment.
- Abstract(参考訳): 製品ベクトルデータベースに埋め込みモデルをアップグレードするには、コーパス全体を再エンコードし、ANN(Approximate Nearest Neighbor)インデックスを再構築する必要がある。
本稿では,モデルバージョン間の埋め込み空間をブリッジする軽量で学習可能な変換層であるDrift-Adapterを提案する。
新しいクエリをレガシな埋め込みスペースにマッピングすることで、Drift-Adapterは既存のANNインデックスの継続使用を可能にし、完全な再計算を事実上延期する。
著者らは, オルソゴン型プロクリスト, 低ランクアフィン, コンパクトな残留型MLPの3つのパラメータ化を, 組合わせ型と新しい組込み型の小さなサンプルを用いて, 体系的に評価した。
MTEBテキストコーパスとCLIPイメージモデルアップグレード(100万項目)の実験では、Drift-Adapterが完全な再埋め込みのリコール(Recall@10, MRR)の95~99%をリカバリし、クエリレイテンシが10マイクロ秒未満になった。
フルインデクシングやデュアルインデクシングサービスといった運用戦略と比較して、Drift-Adapterは再計算コストを100倍以上削減し、ほぼゼロの運用中断によるアップグレードを容易にする。
私たちは、さまざまなモデルドリフトへの堅牢性、トレーニングデータサイズ、数十億のテムシステムへのスケーラビリティ、そして対角スケーリングのような設計選択の影響を分析し、Drift-Adapterがアジャイルモデルデプロイメントの実用的なソリューションであることを示す。
関連論文リスト
- Improving Real-Time Concept Drift Detection using a Hybrid Transformer-Autoencoder Framework [0.0]
応用機械学習では、概念ドリフトはモデルの性能を著しく低下させる。
本研究では,複雑な時間力学をモデル化するためのトランスフォーマーとオートエンコーダを組み合わせたハイブリッドフレームワークを提案する。
以上の結果から,トランスフォーメーション・オートエンコーダは,文献で一般的に用いられるオートエンコーダよりも早く,より感度の高いドリフトを検出した。
論文 参考訳(メタデータ) (2025-08-09T19:39:33Z) - Holistic Continual Learning under Concept Drift with Adaptive Memory Realignment [6.0897744845912865]
概念ドリフト下での連続学習のための総合的枠組みを導入する。
本稿では,リハーサルベースの学習者に対してドリフトアウェア適応機構を備えた軽量な代替手段であるAdaptive Memory Realignment (AMR)を提案する。
AMRはコンセプトドリフトに一貫して対抗し、最小限のオーバーヘッドで高い精度を維持する。
論文 参考訳(メタデータ) (2025-07-03T04:41:20Z) - Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。
本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
論文 参考訳(メタデータ) (2025-01-08T20:11:09Z) - Drift-Resilient TabPFN: In-Context Learning Temporal Distribution Shifts on Tabular Data [39.40116554523575]
In-Context Learning with a Prior-Data Fitted Network に基づく新しいアプローチである Drift-Resilient TabPFN を提案する。
先行した合成データセットのベイズ推定を近似することを学ぶ。
精度は0.688から0.744に向上し、OC AUCは0.786から0.832に向上し、キャリブレーションも強化された。
論文 参考訳(メタデータ) (2024-11-15T23:49:23Z) - Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning [55.384428765798496]
新しいデータは、Eコマースプラットフォームレビューのような、長期にわたる流通を示す。
これは、忘れずに不均衡なデータを連続的なモデルで学習する必要がある。
LTCILの例として,AdaPtive Adapter Routing (APART) を提案する。
論文 参考訳(メタデータ) (2024-09-11T17:52:00Z) - Efficient and Versatile Robust Fine-Tuning of Zero-shot Models [34.27380518351181]
本稿では、下流タスクにゼロショットモデルを微調整する新しい手法であるRobust Adapter(R-Adapter)を紹介する。
本手法は, 軽量モジュールを事前学習モデルに統合し, OODロバスト性を高め, 保存コストを大幅に削減するために, 新たな自己アンサンブル技術を用いる。
実験により,R-Adapterは,CLIPエンコーダのパラメータの13%をチューニングし,タスクのさまざまなセットで最先端のパフォーマンスを実現することを確認した。
論文 参考訳(メタデータ) (2024-08-11T11:37:43Z) - Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。
総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文 参考訳(メタデータ) (2024-03-21T02:33:37Z) - Re^2TAL: Rewiring Pretrained Video Backbones for Reversible Temporal
Action Localization [65.33914980022303]
時間的行動ローカライゼーション(TAL)は、様々な期間と複雑な内容の行動を予測するために、長期的推論を必要とする。
ほとんどのメソッドは、ローカライズ問題に最適化することなく、事前抽出された機能のみをトレーニングできる。
本稿では,既存のビデオバックボーンを可逆性talにリワイヤリングする,新しいエンドツーエンド手法Re2TALを提案する。
論文 参考訳(メタデータ) (2022-11-25T12:17:30Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳(メタデータ) (2022-05-19T08:37:56Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - Employing chunk size adaptation to overcome concept drift [2.277447144331876]
ブロックベースのデータストリーム分類アルゴリズムに適応可能な新しいチャンク適応復元フレームワークを提案する。
提案アルゴリズムは,概念ドリフト検出時のデータチャンクサイズを調整し,その変更が使用済みモデルの予測性能に与える影響を最小限に抑える。
論文 参考訳(メタデータ) (2021-10-25T12:36:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。