論文の概要: Prototype Perturbation for Relaxing Alignment Constraints in Backward-Compatible Learning

• arxiv url: http://arxiv.org/abs/2503.14824v1
• Date: Wed, 19 Mar 2025 01:45:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:23:53.467660
• Title: Prototype Perturbation for Relaxing Alignment Constraints in Backward-Compatible Learning
• Title（参考訳）: 後方対応型学習におけるアライメント制約の緩和のためのプロトタイプ摂動
• Authors: Zikun Zhou, Yushuai Sun, Wenjie Pei, Xin Li, Yaowei Wang,
• Abstract要約: 近接型原型摂動(NDPP)と最適化型原型摂動(ODPP)の2つの手法を開発した。 我々の手法は最先端のBCLアルゴリズムに対して好適に機能する。
• 参考スコア（独自算出の注目度）: 43.8412077229831
• License:
• Abstract: The traditional paradigm to update retrieval models requires re-computing the embeddings of the gallery data, a time-consuming and computationally intensive process known as backfilling. To circumvent backfilling, Backward-Compatible Learning (BCL) has been widely explored, which aims to train a new model compatible with the old one. Many previous works focus on effectively aligning the embeddings of the new model with those of the old one to enhance the backward-compatibility. Nevertheless, such strong alignment constraints would compromise the discriminative ability of the new model, particularly when different classes are closely clustered and hard to distinguish in the old feature space. To address this issue, we propose to relax the constraints by introducing perturbations to the old feature prototypes. This allows us to align the new feature space with a pseudo-old feature space defined by these perturbed prototypes, thereby preserving the discriminative ability of the new model in backward-compatible learning. We have developed two approaches for calculating the perturbations: Neighbor-Driven Prototype Perturbation (NDPP) and Optimization-Driven Prototype Perturbation (ODPP). Particularly, they take into account the feature distributions of not only the old but also the new models to obtain proper perturbations along with new model updating. Extensive experiments on the landmark and commodity datasets demonstrate that our approaches perform favorably against state-of-the-art BCL algorithms.
• Abstract（参考訳）: 検索モデルを更新する伝統的なパラダイムでは、ギャラリーデータの埋め込みを再計算する必要がある。 バックフィルを回避するために、バックワード・コンパチブル・ラーニング(BCL)が広く研究され、古いモデルと互換性のある新しいモデルをトレーニングすることを目指している。 以前の多くの作業では、後方互換性を高めるために、新しいモデルの埋め込みと古いモデルの埋め込みを効果的に整合させることに重点を置いていた。 しかし、そのような強いアライメントの制約は、特に異なるクラスが密集し、古い特徴空間で区別が難しい場合に、新しいモデルの識別能力を損なうことになる。 この問題に対処するため,従来の機能プロトタイプに摂動を導入することで制約を緩和することを提案する。 これにより、新しい特徴空間をこれらの乱れたプロトタイプによって定義された擬似古い特徴空間と整合させることで、後方互換性のある学習において、新しいモデルの識別能力を維持することができる。 本研究では,NDPP(Neighbor-Driven Prototype Perturbation)とODPP(Optimization-Driven Prototype Perturbation)の2つの手法を開発した。 特に、古いモデルだけでなく、新しいモデルのアップデートとともに適切な摂動を得るための新しいモデルの特徴分布を考慮に入れている。 ランドマークとコモディティデータセットに関する大規模な実験により、我々のアプローチは最先端のBCLアルゴリズムに対して好適に機能することを示した。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer [20.96380700548786]
  画像検索システムは、古い表現と新しい表現のミスアライメントにより、表現が改善されたモデルを更新する際の課題に直面している。 以前の研究では、バックフィルなしで新しい表現と古い表現を直接比較できる後方互換性のあるトレーニング方法が検討されてきた。 本稿では、後方互換性と独立に訓練されたモデルの性能のバランスをとることに取り組む。
  論文  参考訳（メタデータ） (2024-08-16T15:05:28Z)
• Tendency-driven Mutual Exclusivity for Weakly Supervised Incremental Semantic Segmentation [56.1776710527814]
  Weakly Incremental Learning for Semantic (WILSS)は、トレーニング済みのセグメンテーションモデルを利用して、コスト効率と手軽に利用できるイメージレベルのラベルを使用して、新しいクラスをセグメンテーションする。 WILSSを解く最も一般的な方法は、各新しいクラスのシード領域の生成であり、ピクセルレベルの監視の一形態として機能する。 本研究は, 種子領域の挙動を綿密に調整した, 相互排他性に関する革新的, 傾向的関係について提案する。
  論文  参考訳（メタデータ） (2024-04-18T08:23:24Z)
• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)
• MixBCT: Towards Self-Adapting Backward-Compatible Training [66.52766344751635]
  そこで本研究では,単純かつ高効率な後方互換性学習法であるMixBCTを提案する。 大規模顔認識データセットMS1Mv3とIJB-Cについて実験を行った。
  論文  参考訳（メタデータ） (2023-08-14T05:55:38Z)
• Darwinian Model Upgrades: Model Evolving with Selective Compatibility [29.920204547961696]
  BCTは、バックフィルをなくすために後方互換性のあるモデルアップグレードに向けた第一歩を提示する。 本稿では,DMU(Darwinian Model Upgrades)を提案する。 DMUは、新しい劣化を効果的に軽減し、新しい互換性を改善し、大規模検索システムにおいてより適切なモデルアップグレードパラダイムを提供する。
  論文  参考訳（メタデータ） (2022-10-13T12:28:48Z)
• Neighborhood Consensus Contrastive Learning for Backward-Compatible Representation [46.86784621137665]
  古い"機能と互換性のある"新しい"機能を可能にするために、後方互換性のある表現が提案されている。 本稿では,近隣のコンセンサス・コントラスト・ラーニング(NCCL)手法を提案する。 提案手法は,新しいモデルの精度を損なうことなく後方互換性を確保する。
  論文  参考訳（メタデータ） (2021-08-07T05:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。