論文の概要: Multi-modal Knowledge Preserving Adapter for Embedding Backward Compatibility

• arxiv url: http://arxiv.org/abs/2609.16875v1
• Date: Tue, 15 Sep 2026 09:06:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.429238
• Title: Multi-modal Knowledge Preserving Adapter for Embedding Backward Compatibility
• Title（参考訳）: 後方互換性を組み込むマルチモーダル知識保持アダプタ
• Abstract要約: MKP-Adapter(Multi-modal Knowledge Preserving Adapter、MKP-Adapter)は、Multi-modal Large Language Models(MLLMs)のためのアダプタのみのBCTアプローチである。 MKP-Adapterは、事前抽出された埋め込みのみに基づいて訓練されており、元のバックボーンフォワードパスと比較して、無視可能な追加遅延しか必要としない。
• 参考スコア（独自算出の注目度）: 13.870015478036906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Upgrading embedding models typically requires expensive database re-indexing, as new query embeddings are incompatible with existing database embeddings. While Backward Compatible Training (BCT) mitigates this by enforcing compatibility during training, existing approaches often require updating the backbone model. This is impractical because of significant training cost, the risk of performance regression, and limited access to proprietary model weights. We introduce Multi-modal Knowledge Preserving Adapter (MKP-Adapter), the first adapter-only BCT approach for Multi-modal Large Language Models (MLLMs) that requires no backbone updates. We identified that the primary challenge in adapter-only BCT is preserving the knowledge of the new embeddings while enforcing backward compatibility. Hence, we propose a multi-level preservation loss that maintains the geometric structure of the embedding spaces throughout BCT. Furthermore, a focal re-weighting strategy is integrated to prioritize learning from challenging samples. Experiments demonstrate that our method achieves strong backward compatibility across diverse multi-modal benchmarks (image, text, visual document, and video retrieval tasks) and model types. Notably, MKP-Adapter is trained solely on pre-extracted embeddings and requires only negligible additional latency relative to the original backbone forward pass, highlighting its efficiency.
• Abstract（参考訳）: 新しいクエリの埋め込みは既存のデータベースの埋め込みと互換性がないため、組み込みモデルのアップグレードは通常、高価なデータベースの再インデックスを必要とする。 Backward Compatible Training (BCT)は、トレーニング中に互換性を強制することによってこれを緩和するが、既存のアプローチではバックボーンモデルを更新する必要があることが多い。 これは、かなりのトレーニングコスト、パフォーマンスレグレッションのリスク、プロプライエタリなモデルウェイトへのアクセスが制限されているため、現実的ではない。 MKP-Adapter(Multi-modal Knowledge Preserving Adapter, MKP-Adapter)は,Multi-modal Large Language Models (MLLM) において,バックボーン更新を必要としないアダプタのみのBCTアプローチである。 アダプタのみのBCTの最大の課題は、後方互換性を保ちながら、新しい埋め込みの知識を保存できることである。 そこで本研究では,BCT全体の埋め込み空間の幾何学的構造を維持する多層保存損失を提案する。 さらに、焦点再重み付け戦略を統合して、挑戦的なサンプルからの学習を優先する。 実験により,本手法は多様なマルチモーダルベンチマーク(画像,テキスト,ビジュアルドキュメント,ビデオ検索タスク)やモデルタイプに対して,強力な後方互換性を実現することが示された。 特に、MKP-Adapterは、事前抽出された埋め込みのみに基づいて訓練されており、元のバックボーンフォワードパスと比較して無視できる追加のレイテンシしか必要とせず、その効率性を強調している。

関連論文リスト

• Don't Start Over: A Cost-Effective Framework for Migrating Personalized Prompts Between LLMs [51.79252689855809]
  LLM(Large Language Models)におけるパーソナライゼーションは、しばしばユーザ固有のソフトプロンプトに依存する。 非互換モデル間でパーソナライズされたプロンプトを効率的に移行するフレームワークであるPrompt-level User Migration Adapter (PUMA)を提案する。 3つの大規模データセットの実験では、我々の手法が一致しているか、あるいはスクラッチから再トレーニングのパフォーマンスを上回り、計算コストを最大98%削減する。
  論文  参考訳（メタデータ） (2026-01-17T12:30:31Z)
• BOFA: Bridge-Layer Orthogonal Low-Rank Fusion for CLIP-Based Class-Incremental Learning [84.56022893225422]
  CIL(Class-Incremental Learning)は,従来の知識を忘れずに,新たなカテゴリを継続的に学習することを目的としている。 CLIP から CIL への視覚言語モデルの適用には,次の2つの大きな課題がある。(1) 下流タスクへの適応には,新たな学習可能なモジュールを必要とする場合が多いこと,2) モデル複雑性の増大と忘れやすいこと,2) マルチモーダル表現は相補的な長所を提供する一方で,既存の手法では,視覚的およびテキスト的モダリティを効果的に統合する可能性を完全には実現できていない。
  論文  参考訳（メタデータ） (2025-11-14T15:51:40Z)
• DATA: Decomposed Attention-based Task Adaptation for Rehearsal-Free Continual Learning [22.386864304549285]
  大規模言語モデル(LLM)では、継続的な学習(CL)が現実の要求に適応するために不可欠である。 近年のリハーサルフリー手法では、モデルベースおよび正規化ベースの戦略を用いてこの問題に対処している。 我々は、$textbfD$e $textbfA$ttention-based $textbfTask $textbfA$daptation ( data)を提案する。 データは、ハイランクなタスクアダプタとローランクなタスクアダプタを使用して、タスク固有の知識とタスク共有の知識を明示的に分離し、学習する。
  論文  参考訳（メタデータ） (2025-02-17T06:35:42Z)
• Towards Compatible Fine-tuning for Vision-Language Model Updates [114.25776195225494]
  クラス条件付きコンテキスト最適化(ContCoOp)は、学習可能なプロンプトと、テキストエンコーダに入力する前に注意層を使用してクラス埋め込みを統合する。 15のデータセットで実験した結果,ContCoOpはベースライン法よりも高い互換性を示し,分布外一般化の堅牢性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-12-30T12:06:27Z)
• Towards Cross-modal Backward-compatible Representation Learning for Vision-Language Models [53.25790521873174]
  後方互換性トレーニング(BT)は、新しいモデルが古いモデルの埋め込みと整合することを保証するために提案されている。 本稿では、視覚のみのBTの概念を、クロスモーダル検索の分野に拡張する。 本稿では,新しいモデルの埋め込みを古いモデルにマッピングするプロジェクションモジュールを提案する。
  論文  参考訳（メタデータ） (2024-05-23T15:46:35Z)
• MixBCT: Towards Self-Adapting Backward-Compatible Training [66.52766344751635]
  そこで本研究では,単純かつ高効率な後方互換性学習法であるMixBCTを提案する。 大規模顔認識データセットMS1Mv3とIJB-Cについて実験を行った。
  論文  参考訳（メタデータ） (2023-08-14T05:55:38Z)
• TaCA: Upgrading Your Visual Foundation Model with Task-agnostic Compatible Adapter [21.41170708560114]
  視覚基盤モデルに基づくアプリケーションが増えている。 システムのアップグレードを伴う状況では、新しい基盤モデルに適応するために、下流モジュールを再訓練することが不可欠です。 パラメータ効率とタスク非依存のアダプタであるTaCAを導入し,異なる基礎モデル間の互換性を実現する。
  論文  参考訳（メタデータ） (2023-06-22T03:00:24Z)
• Boundary-aware Backward-Compatible Representation via Adversarial Learning in Image Retrieval [17.995993499100017]
  後方互換性トレーニング(BCT)は、検索性能に悪影響を与えることなく、2つのモデルの互換性を改善する。 本稿では,弾性境界制約付き逆向き学習法AdvBCTを紹介する。 本手法は,互換性と差別性の両方において,他のBCT法よりも優れる。
  論文  参考訳（メタデータ） (2023-05-04T07:37:07Z)
• Forward Compatible Training for Representation Learning [53.300192863727226]
  後方互換トレーニング(BCT)は、新しいモデルのトレーニングを変更して、その表現を古いモデルのトレーニングと互換性を持たせる。 BCTは新しいモデルの性能を著しく損なう可能性がある。 本研究では,表現学習のための新しい学習パラダイムである,前方互換学習(FCT)を提案する。
  論文  参考訳（メタデータ） (2021-12-06T06:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。