論文の概要: MixBCT: Towards Self-Adapting Backward-Compatible Training

• arxiv url: http://arxiv.org/abs/2308.06948v1
• Date: Mon, 14 Aug 2023 05:55:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 14:27:27.403846
• Title: MixBCT: Towards Self-Adapting Backward-Compatible Training
• Title（参考訳）: MixBCT: 自己適応型後方互換性トレーニングを目指して
• Authors: Yu Liang, Shiliang Zhang, Yaowei Wang, Sheng Xiao, Kenli Li, Xiaoyu Wang
• Abstract要約: 後方互換性のあるトレーニングを使用することで、古い検索データセットを更新する必要がなくなる。 そこで本研究では,単純かつ高効率な後方互換性学習法であるMixBCTを提案する。 提案手法は,従来の埋め込みの分布に基づいて,新しい特徴に対する制約領域を適応的に調整する。
• 参考スコア（独自算出の注目度）: 89.38610089956909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The exponential growth of data, alongside advancements in model structures and loss functions, has necessitated the enhancement of image retrieval systems through the utilization of new models with superior feature embeddings. However, the expensive process of updating the old retrieval database by replacing embeddings poses a challenge. As a solution, backward-compatible training can be employed to avoid the necessity of updating old retrieval datasets. While previous methods achieved backward compatibility by aligning prototypes of the old model, they often overlooked the distribution of the old features, thus limiting their effectiveness when the old model's low quality leads to a weakly discriminative feature distribution. On the other hand, instance-based methods like L2 regression take into account the distribution of old features but impose strong constraints on the performance of the new model itself. In this paper, we propose MixBCT, a simple yet highly effective backward-compatible training method that serves as a unified framework for old models of varying qualities. Specifically, we summarize four constraints that are essential for ensuring backward compatibility in an ideal scenario, and we construct a single loss function to facilitate backward-compatible training. Our approach adaptively adjusts the constraint domain for new features based on the distribution of the old embeddings. We conducted extensive experiments on the large-scale face recognition datasets MS1Mv3 and IJB-C to verify the effectiveness of our method. The experimental results clearly demonstrate its superiority over previous methods. Code is available at https://github.com/yuleung/MixBCT
• Abstract（参考訳）: データの指数関数的な成長は、モデル構造や損失関数の進歩とともに、より優れた特徴埋め込みを持つ新しいモデルの利用による画像検索システムの強化を必要としている。 しかし、埋め込みを置き換えることで古い検索データベースを更新するコストのかかるプロセスが課題となる。 解決策として、古い検索データセットを更新する必要性を避けるために、後方互換性のあるトレーニングが利用できる。 従来の手法では、古いモデルのプロトタイプを整列させることで後方互換性を実現していたが、古い特徴の分布を見落とし、古いモデルの低品質が弱い特徴の分布に繋がる場合の有効性を制限した。 一方、L2回帰のようなインスタンスベースの手法は、古い特徴の分布を考慮しているが、新しいモデル自体のパフォーマンスに強い制約を課している。 本稿では,品質の異なる古いモデルの統一フレームワークとして機能する,単純かつ高効率な後方互換性トレーニング手法であるmixbctを提案する。 具体的には、理想的なシナリオにおいて後方互換性を確保するために不可欠な4つの制約を要約し、後方互換性のトレーニングを容易にするために単一損失関数を構築する。 提案手法は,従来の埋め込みの分布に基づく新機能の制約領域を適応的に調整する。 大規模顔認識データセットMS1Mv3とIJB-Cについて広範囲に実験を行い,本手法の有効性を検証した。 実験結果は, 従来の方法よりも優れていることを示す。 コードはhttps://github.com/yuleung/MixBCTで入手できる。

関連論文リスト

• Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer [20.96380700548786]
  画像検索システムは、古い表現と新しい表現のミスアライメントにより、表現が改善されたモデルを更新する際の課題に直面している。 以前の研究では、バックフィルなしで新しい表現と古い表現を直接比較できる後方互換性のあるトレーニング方法が検討されてきた。 本稿では、後方互換性と独立に訓練されたモデルの性能のバランスをとることに取り組む。
  論文  参考訳（メタデータ） (2024-08-16T15:05:28Z)
• Towards Cross-modal Backward-compatible Representation Learning for Vision-Language Models [44.56258991182532]
  後方互換性トレーニング(BT)は、新しいモデルが古いモデルの埋め込みと整合することを保証するために提案されている。 本稿では、視覚のみのBTの概念を、クロスモーダル検索の分野に拡張する。 本稿では,新しいモデルの埋め込みを古いモデルにマッピングするプロジェクションモジュールを提案する。
  論文  参考訳（メタデータ） (2024-05-23T15:46:35Z)
• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Boundary-aware Backward-Compatible Representation via Adversarial Learning in Image Retrieval [17.995993499100017]
  後方互換性トレーニング(BCT)は、検索性能に悪影響を与えることなく、2つのモデルの互換性を改善する。 本稿では,弾性境界制約付き逆向き学習法AdvBCTを紹介する。 本手法は,互換性と差別性の両方において,他のBCT法よりも優れる。
  論文  参考訳（メタデータ） (2023-05-04T07:37:07Z)
• Darwinian Model Upgrades: Model Evolving with Selective Compatibility [29.920204547961696]
  BCTは、バックフィルをなくすために後方互換性のあるモデルアップグレードに向けた第一歩を提示する。 本稿では,DMU(Darwinian Model Upgrades)を提案する。 DMUは、新しい劣化を効果的に軽減し、新しい互換性を改善し、大規模検索システムにおいてより適切なモデルアップグレードパラダイムを提供する。
  論文  参考訳（メタデータ） (2022-10-13T12:28:48Z)
• Towards Universal Backward-Compatible Representation Learning [29.77801805854168]
  バックフィルフリーモデルアップグレードをサポートするために、後方互換性のある表現学習が導入されている。 まず、モデルアップグレードにおいて、可能なすべてのデータ分割を網羅する、普遍的な後方互換性のある表現学習の新たな問題を導入する。 提案手法は,Universal Backward- Training (UniBCT) とよばれる,シンプルで効果的な手法である。
  論文  参考訳（メタデータ） (2022-03-03T09:23:51Z)
• Forward Compatible Training for Representation Learning [53.300192863727226]
  後方互換トレーニング(BCT)は、新しいモデルのトレーニングを変更して、その表現を古いモデルのトレーニングと互換性を持たせる。 BCTは新しいモデルの性能を著しく損なう可能性がある。 本研究では,表現学習のための新しい学習パラダイムである,前方互換学習(FCT)を提案する。
  論文  参考訳（メタデータ） (2021-12-06T06:18:54Z)
• Neighborhood Consensus Contrastive Learning for Backward-Compatible Representation [46.86784621137665]
  古い"機能と互換性のある"新しい"機能を可能にするために、後方互換性のある表現が提案されている。 本稿では,近隣のコンセンサス・コントラスト・ラーニング(NCCL)手法を提案する。 提案手法は,新しいモデルの精度を損なうことなく後方互換性を確保する。
  論文  参考訳（メタデータ） (2021-08-07T05:50:47Z)
• Towards Backward-Compatible Representation Learning [86.39292571306395]
  異なる次元であっても,従来の計算機能と互換性のある視覚的特徴を学習する方法を提案する。 これにより、埋め込みモデルを更新する際に、以前見たすべての画像の新機能の計算を回避できる。 本稿では、後方互換表現学習の第一歩として、後方互換学習(BCT)と呼ばれる埋め込みモデルを訓練するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-26T14:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。