論文の概要: Forward Compatible Training for Representation Learning

• arxiv url: http://arxiv.org/abs/2112.02805v1
• Date: Mon, 6 Dec 2021 06:18:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 06:47:32.275375
• Title: Forward Compatible Training for Representation Learning
• Title（参考訳）: 表現学習のための前方互換学習
• Authors: Vivek Ramanujan, Pavan Kumar Anasosalu Vasu, Ali Farhadi, Oncel Tuzel, Hadi Pouransari
• Abstract要約: 後方互換トレーニング(BCT)は、新しいモデルのトレーニングを変更して、その表現を古いモデルのトレーニングと互換性を持たせる。 BCTは新しいモデルの性能を著しく損なう可能性がある。 本研究では,表現学習のための新しい学習パラダイムである,前方互換学習(FCT)を提案する。
• 参考スコア（独自算出の注目度）: 53.300192863727226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In visual retrieval systems, updating the embedding model requires recomputing features for every piece of data. This expensive process is referred to as backfilling. Recently, the idea of backward compatible training (BCT) was proposed. To avoid the cost of backfilling, BCT modifies training of the new model to make its representations compatible with those of the old model. However, BCT can significantly hinder the performance of the new model. In this work, we propose a new learning paradigm for representation learning: forward compatible training (FCT). In FCT, when the old model is trained, we also prepare for a future unknown version of the model. We propose learning side-information, an auxiliary feature for each sample which facilitates future updates of the model. To develop a powerful and flexible framework for model compatibility, we combine side-information with a forward transformation from old to new embeddings. Training of the new model is not modified, hence, its accuracy is not degraded. We demonstrate significant retrieval accuracy improvement compared to BCT for various datasets: ImageNet-1k (+18.1%), Places-365 (+5.4%), and VGG-Face2 (+8.3%). FCT obtains model compatibility when the new and old models are trained across different datasets, losses, and architectures.
• Abstract（参考訳）: ビジュアル検索システムでは、埋め込みモデルを更新するには、各データに対する再計算が必要である。 この高価なプロセスはバックフィルと呼ばれる。 近年,後方互換性トレーニング(BCT)の概念が提案されている。 バックフィルのコストを避けるため、bctは新しいモデルのトレーニングを修正し、その表現を古いモデルと互換性を持たせる。 しかし、BCTは新しいモデルの性能を著しく損なう可能性がある。 本研究では,表現学習のための新しい学習パラダイムとして,前方互換学習(FCT)を提案する。 fctでは、古いモデルをトレーニングするとき、モデルの将来的な未知のバージョンの準備も行います。 モデルの今後の更新を容易にするサンプル毎の補助機能である学習側情報を提案する。 モデル互換性のための強力で柔軟なフレームワークを開発するために、サイド情報と古い組込みから新しい組込みへの前方変換を組み合わせる。 新しいモデルのトレーニングは変更されないため、その精度は劣化しない。 検索精度は,imagenet-1k (+18.1%), places-365 (+5.4%), vgg-face2 (+8.3%) など,様々なデータセットにおいてbctと比較して有意に向上した。 FCTは、新しいモデルと古いモデルが異なるデータセット、損失、アーキテクチャでトレーニングされたときにモデル互換性を得る。

関連論文リスト

• Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer [20.96380700548786]
  画像検索システムは、古い表現と新しい表現のミスアライメントにより、表現が改善されたモデルを更新する際の課題に直面している。 以前の研究では、バックフィルなしで新しい表現と古い表現を直接比較できる後方互換性のあるトレーニング方法が検討されてきた。 本稿では、後方互換性と独立に訓練されたモデルの性能のバランスをとることに取り組む。
  論文  参考訳（メタデータ） (2024-08-16T15:05:28Z)
• Towards Cross-modal Backward-compatible Representation Learning for Vision-Language Models [44.56258991182532]
  後方互換性トレーニング(BT)は、新しいモデルが古いモデルの埋め込みと整合することを保証するために提案されている。 本稿では、視覚のみのBTの概念を、クロスモーダル検索の分野に拡張する。 本稿では,新しいモデルの埋め込みを古いモデルにマッピングするプロジェクションモジュールを提案する。
  論文  参考訳（メタデータ） (2024-05-23T15:46:35Z)
• MixBCT: Towards Self-Adapting Backward-Compatible Training [66.52766344751635]
  そこで本研究では,単純かつ高効率な後方互換性学習法であるMixBCTを提案する。 大規模顔認識データセットMS1Mv3とIJB-Cについて実験を行った。
  論文  参考訳（メタデータ） (2023-08-14T05:55:38Z)
• Boundary-aware Backward-Compatible Representation via Adversarial Learning in Image Retrieval [17.995993499100017]
  後方互換性トレーニング(BCT)は、検索性能に悪影響を与えることなく、2つのモデルの互換性を改善する。 本稿では,弾性境界制約付き逆向き学習法AdvBCTを紹介する。 本手法は,互換性と差別性の両方において,他のBCT法よりも優れる。
  論文  参考訳（メタデータ） (2023-05-04T07:37:07Z)
• FastFill: Efficient Compatible Model Update [40.27741553705222]
  FastFillは、機能アライメントとポリシーベースの部分的なバックフィルを使用して、互換性のあるモデル更新プロセスである。 過去のバックフィル戦略は性能低下に悩まされており,オンライン部分補充におけるトレーニング目標と注文の重要性が示されている。
  論文  参考訳（メタデータ） (2023-03-08T18:03:51Z)
• $BT^2$: Backward-compatible Training with Basis Transformation [107.37014712361788]
  検索システムは、より良い表現モデルに更新する際に、ギャラリー内のすべてのデータの表現を再計算する必要があることが多い。 このプロセスはバックフィルとして知られており、ギャラリーが何十億ものサンプルを含んでいる現実世界では特にコストがかかる。 近年、研究者らは、新しい表現モデルを補助的損失で訓練し、古い表現と後方互換性を持たせることができる、後方互換性トレーニング(BCT)のアイデアを提案している。
  論文  参考訳（メタデータ） (2022-11-08T04:00:23Z)
• Forward Compatible Few-Shot Class-Incremental Learning [71.2459746681805]
  機械学習モデルは、古いクラスを忘れずに新しいクラスを認識するべきである。 現在の手法は漸進的な学習をふりかえりに扱う。 FSCILのためのForwArd Compatible Training (FACT)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T09:36:35Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)
• Towards Backward-Compatible Representation Learning [86.39292571306395]
  異なる次元であっても,従来の計算機能と互換性のある視覚的特徴を学習する方法を提案する。 これにより、埋め込みモデルを更新する際に、以前見たすべての画像の新機能の計算を回避できる。 本稿では、後方互換表現学習の第一歩として、後方互換学習(BCT)と呼ばれる埋め込みモデルを訓練するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-26T14:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。