論文の概要: Darwinian Model Upgrades: Model Evolving with Selective Compatibility

• arxiv url: http://arxiv.org/abs/2210.06954v1
• Date: Thu, 13 Oct 2022 12:28:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 16:25:09.464483
• Title: Darwinian Model Upgrades: Model Evolving with Selective Compatibility
• Title（参考訳）: darwinian model upgrades: 選択的互換性で進化するモデル
• Authors: Binjie Zhang, Shupeng Su, Yixiao Ge, Xuyuan Xu, Yexin Wang, Chun Yuan, Mike Zheng Shou, Ying Shan
• Abstract要約: BCTは、バックフィルをなくすために後方互換性のあるモデルアップグレードに向けた第一歩を提示する。 本稿では,DMU(Darwinian Model Upgrades)を提案する。 DMUは、新しい劣化を効果的に軽減し、新しい互換性を改善し、大規模検索システムにおいてより適切なモデルアップグレードパラダイムを提供する。
• 参考スコア（独自算出の注目度）: 29.920204547961696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The traditional model upgrading paradigm for retrieval requires recomputing all gallery embeddings before deploying the new model (dubbed as "backfilling"), which is quite expensive and time-consuming considering billions of instances in industrial applications. BCT presents the first step towards backward-compatible model upgrades to get rid of backfilling. It is workable but leaves the new model in a dilemma between new feature discriminativeness and new-to-old compatibility due to the undifferentiated compatibility constraints. In this work, we propose Darwinian Model Upgrades (DMU), which disentangle the inheritance and variation in the model evolving with selective backward compatibility and forward adaptation, respectively. The old-to-new heritable knowledge is measured by old feature discriminativeness, and the gallery features, especially those of poor quality, are evolved in a lightweight manner to become more adaptive in the new latent space. We demonstrate the superiority of DMU through comprehensive experiments on large-scale landmark retrieval and face recognition benchmarks. DMU effectively alleviates the new-to-new degradation and improves new-to-old compatibility, rendering a more proper model upgrading paradigm in large-scale retrieval systems.
• Abstract（参考訳）: 検索のための伝統的なモデルアップグレードパラダイムでは、新しいモデルをデプロイする前にギャラリーの埋め込みを再計算する必要がある("バックフィル"と呼ばれる)。 BCTは、バックフィルをなくすために後方互換性のあるモデルアップグレードに向けた第一歩を提示する。 それは機能するが、新しいモデルは、新しい特徴の判別性と、未分化の互換性制約のために新しい古い互換性のジレンマに残されている。 本研究では,選択的な後方互換性と前方適応で進化するモデルの継承と変動を両立させるDMU(Darwinian Model Upgrades)を提案する。 旧来の遺伝学の知識は古い特徴の判別によって測定され、ギャラリーの特徴、特に品質の悪い知識は、新しい潜在空間においてより適応的になるように軽量な方法で進化する。 本稿では,大規模ランドマーク検索と顔認識ベンチマークの総合的な実験を通じて,DMUの優位性を実証する。 DMUは、新しい劣化を効果的に軽減し、新しい互換性を改善し、大規模検索システムにおいてより適切なモデルアップグレードパラダイムを提供する。

関連論文リスト

• Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
  本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。 モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。 我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer [20.96380700548786]
  画像検索システムは、古い表現と新しい表現のミスアライメントにより、表現が改善されたモデルを更新する際の課題に直面している。 以前の研究では、バックフィルなしで新しい表現と古い表現を直接比較できる後方互換性のあるトレーニング方法が検討されてきた。 本稿では、後方互換性と独立に訓練されたモデルの性能のバランスをとることに取り組む。
  論文  参考訳（メタデータ） (2024-08-16T15:05:28Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• MixBCT: Towards Self-Adapting Backward-Compatible Training [66.52766344751635]
  そこで本研究では,単純かつ高効率な後方互換性学習法であるMixBCTを提案する。 大規模顔認識データセットMS1Mv3とIJB-Cについて実験を行った。
  論文  参考訳（メタデータ） (2023-08-14T05:55:38Z)
• Improving Prediction Backward-Compatiblility in NLP Model Upgrade with Gated Fusion [8.173078054056337]
  ニューラルモデルを新しいバージョンにアップグレードする場合、レガシバージョンで遭遇しなかった新しいエラーを、レグレッションエラー(regress error)として導入することができる。 従来のモデルと新しいモデルの間で予測を混合する学習による後方互換性を促進する新しい手法であるGated Fusionを提案する。
  論文  参考訳（メタデータ） (2023-02-04T03:40:35Z)
• Privacy-Preserving Model Upgrades with Bidirectional Compatible Training in Image Retrieval [28.268764435617975]
  BiCT(Bidirectional Compatible Training)と呼ばれる新しいモデルアップグレードパラダイムを提案する。 BiCTは、後方互換性のある新しいモデルの埋め込み空間に向けて前方互換性のあるトレーニングによって、古いギャラリーの埋め込みをアップグレードする。 我々は、BiCTによる顕著な改善を検証するための総合的な実験を行い、後方互換性の不都合な損失重みが、実際に後方および前方検索性能において重要な役割を担っていることを観察した。
  論文  参考訳（メタデータ） (2022-04-29T07:38:09Z)
• Forward Compatible Training for Representation Learning [53.300192863727226]
  後方互換トレーニング(BCT)は、新しいモデルのトレーニングを変更して、その表現を古いモデルのトレーニングと互換性を持たせる。 BCTは新しいモデルの性能を著しく損なう可能性がある。 本研究では,表現学習のための新しい学習パラダイムである,前方互換学習(FCT)を提案する。
  論文  参考訳（メタデータ） (2021-12-06T06:18:54Z)
• Neighborhood Consensus Contrastive Learning for Backward-Compatible Representation [46.86784621137665]
  古い"機能と互換性のある"新しい"機能を可能にするために、後方互換性のある表現が提案されている。 本稿では,近隣のコンセンサス・コントラスト・ラーニング(NCCL)手法を提案する。 提案手法は,新しいモデルの精度を損なうことなく後方互換性を確保する。
  論文  参考訳（メタデータ） (2021-08-07T05:50:47Z)
• Towards Backward-Compatible Representation Learning [86.39292571306395]
  異なる次元であっても,従来の計算機能と互換性のある視覚的特徴を学習する方法を提案する。 これにより、埋め込みモデルを更新する際に、以前見たすべての画像の新機能の計算を回避できる。 本稿では、後方互換表現学習の第一歩として、後方互換学習(BCT)と呼ばれる埋め込みモデルを訓練するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-26T14:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。