論文の概要: FastFill: Efficient Compatible Model Update

• arxiv url: http://arxiv.org/abs/2303.04766v1
• Date: Wed, 8 Mar 2023 18:03:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 12:50:31.509908
• Title: FastFill: Efficient Compatible Model Update
• Title（参考訳）: fastfill: 効率的なモデル更新
• Authors: Florian Jaeckle, Fartash Faghri, Ali Farhadi, Oncel Tuzel, and Hadi Pouransari
• Abstract要約: FastFillは、機能アライメントとポリシーベースの部分的なバックフィルを使用して、互換性のあるモデル更新プロセスである。 過去のバックフィル戦略は性能低下に悩まされており,オンライン部分補充におけるトレーニング目標と注文の重要性が示されている。
• 参考スコア（独自算出の注目度）: 40.27741553705222
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many retrieval systems the original high dimensional data (e.g., images) is mapped to a lower dimensional feature through a learned embedding model. The task of retrieving the most similar data from a gallery set to a given query data is performed through a similarity comparison on features. When the embedding model is updated, it might produce features that are not comparable/compatible with features already in the gallery computed with the old model. Subsequently, all features in the gallery need to be re-computed using the new embedding model -- a computationally expensive process called backfilling. Recently, compatible representation learning methods have been proposed to avoid backfilling. Despite their relative success, there is an inherent trade-off between the new model performance and its compatibility with the old model. In this work, we introduce FastFill: a compatible model update process using feature alignment and policy based partial backfilling to promptly elevate retrieval performance. We show that previous backfilling strategies suffer from decreased performance and demonstrate the importance of both the training objective and the ordering in online partial backfilling. We propose a new training method for feature alignment between old and new embedding models using uncertainty estimation. Compared to previous works, we obtain significantly improved backfilling results on a variety of datasets: mAP on ImageNet (+4.4\%), Places-365 (+2.7\%), and VGG-Face2 (+1.3\%). Further, we demonstrate that when updating a biased model with FastFill, the minority subgroup accuracy gap promptly vanishes with a small fraction of partial backfilling.
• Abstract（参考訳）: 多くの検索システムでは、元の高次元データ(例えば画像)は学習された埋め込みモデルを介して低次元の特徴にマッピングされる。 ギャラリーセットから所定のクエリデータに最も類似したデータを検索するタスクは、特徴の類似性比較によって実行される。 組み込みモデルが更新されると、古いモデルで計算されたギャラリーにある機能と同等で互換性のない機能を生成するかもしれません。 その後、ギャラリーのすべての機能は、新しい埋め込みモデル(backfillingと呼ばれる計算コストの高いプロセス)を使って再計算する必要がある。 近年,バックフィルを避けるための表現学習手法が提案されている。 比較的成功したにもかかわらず、新しいモデルのパフォーマンスと旧モデルとの互換性には本質的にトレードオフがある。 本稿では,機能アライメントとポリシーに基づく部分的バックフィルを用いたモデル更新プロセスであるFastFillを導入し,検索性能を高速化する。 過去のバックフィル戦略は性能低下に悩まされており,オンライン部分補充におけるトレーニング目標と注文の重要性が示されている。 本研究では,不確実性推定を用いた新しい埋込みモデルと埋込みモデルの特徴調整手法を提案する。 従来の研究と比べて、imagenet (+4.4\%)、places-365 (+2.7\%)、vgg-face2 (+1.3\%) の様々なデータセットで、大幅に改善されたバックフィル結果が得られる。 さらに,fastfillでバイアスモデルを更新すると,部分バックフィルのごく一部で少数部分群精度ギャップが即座に消失することを示す。

関連論文リスト

• Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer [20.96380700548786]
  画像検索システムは、古い表現と新しい表現のミスアライメントにより、表現が改善されたモデルを更新する際の課題に直面している。 以前の研究では、バックフィルなしで新しい表現と古い表現を直接比較できる後方互換性のあるトレーニング方法が検討されてきた。 本稿では、後方互換性と独立に訓練されたモデルの性能のバランスをとることに取り組む。
  論文  参考訳（メタデータ） (2024-08-16T15:05:28Z)
• Stationary Representations: Optimally Approximating Compatibility and Implications for Improved Model Replacements [20.96380700548786]
  互換性のある表現を学習することで、モデルが時間とともに更新されるときに、セマンティックな機能の交換可能な使用が可能になる。 これは、ギャラリーイメージの更新モデルによる再処理を避けることが重要となる検索・検索システムにおいて特に重要である。 我々は,$d$-Simplex固定分類器によって学習された定常表現が,形式的定義の2つの不等式制約に従って最適に近似していることを示す。
  論文  参考訳（メタデータ） (2024-05-04T06:31:38Z)
• Lifelong Person Re-Identification with Backward-Compatibility [9.94228688034577]
  LReID (Lifelong person re-identification) は、連続的にやってくるデータセットに基づいてモデルを逐次訓練する現実的なシナリオを前提としている。 本稿では,LReIDの後方互換性を初めて取り入れることで,上記の問題に対処する。
  論文  参考訳（メタデータ） (2024-03-15T05:08:59Z)
• MixBCT: Towards Self-Adapting Backward-Compatible Training [66.52766344751635]
  そこで本研究では,単純かつ高効率な後方互換性学習法であるMixBCTを提案する。 大規模顔認識データセットMS1Mv3とIJB-Cについて実験を行った。
  論文  参考訳（メタデータ） (2023-08-14T05:55:38Z)
• Online Backfilling with No Regret for Large-Scale Image Retrieval [50.162438586686356]
  バックフィルは、画像検索システムにおいて、アップグレードされたモデルからすべてのギャラリー埋め込みを再抽出するプロセスである。 本稿では,オンラインのバックフィルアルゴリズムを提案し,バックフィル処理の進行的な性能向上を実現する。 我々は、逆変換モジュールをより効果的で効率的なマージに組み込み、メトリック互換のコントラスト学習アプローチを採用することでさらに強化する。
  論文  参考訳（メタデータ） (2023-01-10T03:10:32Z)
• $BT^2$: Backward-compatible Training with Basis Transformation [107.37014712361788]
  検索システムは、より良い表現モデルに更新する際に、ギャラリー内のすべてのデータの表現を再計算する必要があることが多い。 このプロセスはバックフィルとして知られており、ギャラリーが何十億ものサンプルを含んでいる現実世界では特にコストがかかる。 近年、研究者らは、新しい表現モデルを補助的損失で訓練し、古い表現と後方互換性を持たせることができる、後方互換性トレーニング(BCT)のアイデアを提案している。
  論文  参考訳（メタデータ） (2022-11-08T04:00:23Z)
• Hot-Refresh Model Upgrades with Regression-Alleviating Compatible Training in Image Retrieval [34.84329831602699]
  コールド・リフレッシュモデルのアップグレードは、ギャラリー全体のバックフィルが完了した後のみ、新しいモデルをデプロイできる。 対照的に、ホットリフレッシュモデルのアップグレードでは、新しいモデルを即座にデプロイし、その後、ギャラリーをオンザフライでバックフィルすることで、検索精度を徐々に改善する。
  論文  参考訳（メタデータ） (2022-01-24T14:59:12Z)
• Forward Compatible Training for Representation Learning [53.300192863727226]
  後方互換トレーニング(BCT)は、新しいモデルのトレーニングを変更して、その表現を古いモデルのトレーニングと互換性を持たせる。 BCTは新しいモデルの性能を著しく損なう可能性がある。 本研究では,表現学習のための新しい学習パラダイムである,前方互換学習(FCT)を提案する。
  論文  参考訳（メタデータ） (2021-12-06T06:18:54Z)
• Towards Backward-Compatible Representation Learning [86.39292571306395]
  異なる次元であっても,従来の計算機能と互換性のある視覚的特徴を学習する方法を提案する。 これにより、埋め込みモデルを更新する際に、以前見たすべての画像の新機能の計算を回避できる。 本稿では、後方互換表現学習の第一歩として、後方互換学習(BCT)と呼ばれる埋め込みモデルを訓練するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-26T14:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。