論文の概要: Hot-Refresh Model Upgrades with Regression-Alleviating Compatible
Training in Image Retrieval
- arxiv url: http://arxiv.org/abs/2201.09724v1
- Date: Mon, 24 Jan 2022 14:59:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-25 16:19:14.880742
- Title: Hot-Refresh Model Upgrades with Regression-Alleviating Compatible
Training in Image Retrieval
- Title（参考訳）: 画像検索における回帰適応学習によるホットリフレッシュモデルの改善
- Authors: Binjie Zhang, Yixiao Ge, Yantao Shen, Yu Li, Chun Yuan, Xuyuan Xu,
Yexin Wang, Ying Shan
- Abstract要約: コールド・リフレッシュモデルのアップグレードは、ギャラリー全体のバックフィルが完了した後のみ、新しいモデルをデプロイできる。
対照的に、ホットリフレッシュモデルのアップグレードでは、新しいモデルを即座にデプロイし、その後、ギャラリーをオンザフライでバックフィルすることで、検索精度を徐々に改善する。
- 参考スコア（独自算出の注目度）: 34.84329831602699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The task of hot-refresh model upgrades of image retrieval systems plays an
essential role in the industry but has never been investigated in academia
before. Conventional cold-refresh model upgrades can only deploy new models
after the gallery is overall backfilled, taking weeks or even months for
massive data. In contrast, hot-refresh model upgrades deploy the new model
immediately and then gradually improve the retrieval accuracy by backfilling
the gallery on-the-fly. Compatible training has made it possible, however, the
problem of model regression with negative flips poses a great challenge to the
stable improvement of user experience. We argue that it is mainly due to the
fact that new-to-old positive query-gallery pairs may show less similarity than
new-to-new negative pairs. To solve the problem, we introduce a
Regression-Alleviating Compatible Training (RACT) method to properly constrain
the feature compatibility while reducing negative flips. The core is to
encourage the new-to-old positive pairs to be more similar than both the
new-to-old negative pairs and the new-to-new negative pairs. An efficient
uncertainty-based backfilling strategy is further introduced to fasten accuracy
improvements. Extensive experiments on large-scale retrieval benchmarks (e.g.,
Google Landmark) demonstrate that our RACT effectively alleviates the model
regression for one more step towards seamless model upgrades. The code will be
available at https://github.com/binjiezhang/RACT_ICLR2022.
- Abstract（参考訳）: 画像検索システムのホットリフレッシュモデルアップグレードの課題は、業界において重要な役割を担っているが、これまで学術分野では調査されていない。
従来のコールドリフレッシュモデルのアップグレードは、ギャラリー全体のバックフィル後にのみ新しいモデルをデプロイでき、大規模なデータには数週間から数ヶ月かかる。
対照的に、ホットリフレッシュモデルのアップグレードでは、新しいモデルを即座にデプロイし、ギャラリーをオンザフライでバックフィルすることで、徐々に精度を向上する。
互換性のあるトレーニングは可能であるが、負のフリップによるモデル回帰の問題は、ユーザエクスペリエンスの安定した改善にとって大きな課題となる。
主に、新旧の正のクエリ・ギャラリーペアが、新旧の負のペアに比べて類似度が低いためである。
この問題を解決するために,回帰適応型トレーニング(ract)手法を導入し,負のフリップを低減しつつ,機能互換性を適切に制約する。
核となるのは、新古の負の対と新古の負の対の双方よりも、新古の負の対がより似ているように促すことである。
不確実性に基づく効率的なバックフィルング戦略がさらに導入され、精度が向上している。
大規模な検索ベンチマーク(例えばGoogle Landmark)に関する大規模な実験では、当社のRATがモデルの回帰を効果的に軽減し、シームレスなモデルアップグレードに向けた一歩を踏み出した。
コードはhttps://github.com/binjiezhang/ract_iclr2022で入手できる。
関連論文リスト
- Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer [20.96380700548786]
画像検索システムは、古い表現と新しい表現のミスアライメントにより、表現が改善されたモデルを更新する際の課題に直面している。
以前の研究では、バックフィルなしで新しい表現と古い表現を直接比較できる後方互換性のあるトレーニング方法が検討されてきた。
本稿では、後方互換性と独立に訓練されたモデルの性能のバランスをとることに取り組む。
論文 参考訳（メタデータ） (2024-08-16T15:05:28Z) - MixBCT: Towards Self-Adapting Backward-Compatible Training [66.52766344751635]
そこで本研究では,単純かつ高効率な後方互換性学習法であるMixBCTを提案する。
大規模顔認識データセットMS1Mv3とIJB-Cについて実験を行った。
論文 参考訳（メタデータ） (2023-08-14T05:55:38Z) - FastFill: Efficient Compatible Model Update [40.27741553705222]
FastFillは、機能アライメントとポリシーベースの部分的なバックフィルを使用して、互換性のあるモデル更新プロセスである。
過去のバックフィル戦略は性能低下に悩まされており,オンライン部分補充におけるトレーニング目標と注文の重要性が示されている。
論文 参考訳（メタデータ） (2023-03-08T18:03:51Z) - Improving Prediction Backward-Compatiblility in NLP Model Upgrade with
Gated Fusion [8.173078054056337]
ニューラルモデルを新しいバージョンにアップグレードする場合、レガシバージョンで遭遇しなかった新しいエラーを、レグレッションエラー(regress error)として導入することができる。
従来のモデルと新しいモデルの間で予測を混合する学習による後方互換性を促進する新しい手法であるGated Fusionを提案する。
論文 参考訳（メタデータ） (2023-02-04T03:40:35Z) - Backward Compatibility During Data Updates by Weight Interpolation [17.502410289568587]
データ更新時の回帰問題について検討し、後方対応型重み補間法(BCWI)を提案する。
BCWIは、新しいモデルの精度の向上を犠牲にすることなく、負のフリップを減らす。
また,複数の新モデルの重み付けにおける重み付けと平均化による負のフリップの低減についても検討する。
論文 参考訳（メタデータ） (2023-01-25T12:23:10Z) - Online Backfilling with No Regret for Large-Scale Image Retrieval [50.162438586686356]
バックフィルは、画像検索システムにおいて、アップグレードされたモデルからすべてのギャラリー埋め込みを再抽出するプロセスである。
本稿では,オンラインのバックフィルアルゴリズムを提案し,バックフィル処理の進行的な性能向上を実現する。
我々は、逆変換モジュールをより効果的で効率的なマージに組み込み、メトリック互換のコントラスト学習アプローチを採用することでさらに強化する。
論文 参考訳（メタデータ） (2023-01-10T03:10:32Z) - Forward Compatible Training for Representation Learning [53.300192863727226]
後方互換トレーニング(BCT)は、新しいモデルのトレーニングを変更して、その表現を古いモデルのトレーニングと互換性を持たせる。
BCTは新しいモデルの性能を著しく損なう可能性がある。
本研究では,表現学習のための新しい学習パラダイムである,前方互換学習(FCT)を提案する。
論文 参考訳（メタデータ） (2021-12-06T06:18:54Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳（メタデータ） (2021-05-07T03:33:00Z) - Positive-Congruent Training: Towards Regression-Free Model Updates [87.25247195148187]
画像分類において、サンプルワイドの不整合は「負のフリップ」として現れる
新しいモデルは、古い(参照)モデルによって正しく分類されたテストサンプルの出力を誤って予測する。
そこで本研究では,PC トレーニングのための簡易なアプローチである Focal Distillation を提案する。
論文 参考訳（メタデータ） (2020-11-18T09:00:44Z) - Towards Backward-Compatible Representation Learning [86.39292571306395]
異なる次元であっても,従来の計算機能と互換性のある視覚的特徴を学習する方法を提案する。
これにより、埋め込みモデルを更新する際に、以前見たすべての画像の新機能の計算を回避できる。
本稿では、後方互換表現学習の第一歩として、後方互換学習(BCT)と呼ばれる埋め込みモデルを訓練するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-26T14:34:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。