論文の概要: Learning Backward Compatible Embeddings
- arxiv url: http://arxiv.org/abs/2206.03040v1
- Date: Tue, 7 Jun 2022 06:30:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 04:25:00.417683
- Title: Learning Backward Compatible Embeddings
- Title（参考訳）: 後方互換性のある埋め込みの学習
- Authors: Weihua Hu, Rajas Bansal, Kaidi Cao, Nikhil Rao, Karthik Subbian, Jure
Leskovec
- Abstract要約: バージョン更新の組込み問題と後方互換性について検討する。
後方互換性のある埋め込みの学習に基づくソリューションを開発する。
BC-Alignerと呼ばれる最良のメソッドは、複数のモデルバージョンが更新された後も、意図しないタスクとの後方互換性を維持していることを示す。
- 参考スコア（独自算出の注目度）: 74.74171220055766
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embeddings, low-dimensional vector representation of objects, are fundamental
in building modern machine learning systems. In industrial settings, there is
usually an embedding team that trains an embedding model to solve intended
tasks (e.g., product recommendation). The produced embeddings are then widely
consumed by consumer teams to solve their unintended tasks (e.g., fraud
detection). However, as the embedding model gets updated and retrained to
improve performance on the intended task, the newly-generated embeddings are no
longer compatible with the existing consumer models. This means that historical
versions of the embeddings can never be retired or all consumer teams have to
retrain their models to make them compatible with the latest version of the
embeddings, both of which are extremely costly in practice. Here we study the
problem of embedding version updates and their backward compatibility. We
formalize the problem where the goal is for the embedding team to keep updating
the embedding version, while the consumer teams do not have to retrain their
models. We develop a solution based on learning backward compatible embeddings,
which allows the embedding model version to be updated frequently, while also
allowing the latest version of the embedding to be quickly transformed into any
backward compatible historical version of it, so that consumer teams do not
have to retrain their models. Under our framework, we explore six methods and
systematically evaluate them on a real-world recommender system application. We
show that the best method, which we call BC-Aligner, maintains backward
compatibility with existing unintended tasks even after multiple model version
updates. Simultaneously, BC-Aligner achieves the intended task performance
similar to the embedding model that is solely optimized for the intended task.
- Abstract（参考訳）: オブジェクトの低次元ベクトル表現である埋め込みは、現代の機械学習システムを構築する上で基本である。
産業環境では通常、組込みモデルを訓練して意図したタスク(製品レコメンデーションなど)を解決する組込みチームがある。
生成された埋め込みは、意図しないタスク(詐欺検出など)を解決するために消費者チームが広く消費する。
しかしながら、組み込みモデルは、意図したタスクのパフォーマンスを改善するために更新および再トレーニングされるため、新たに生成された埋め込みは、既存のコンシューマモデルと互換性がなくなった。
これは、埋め込みの歴史的バージョンを廃止することは決してできないことを意味している。また、すべてのコンシューマチームは、埋め込みの最新バージョンと互換性を持たせるためにモデルを再トレーニングする必要がある。
本稿では,バージョン更新の組込み問題と後方互換性について検討する。
私たちは、組み込みチームが組み込みバージョンをアップデートし続けることを目標とする問題を形式化しますが、コンシューマチームはモデルを再トレーニングする必要がありません。
我々は,後方互換性のある組込みを学習することに基づくソリューションを開発した。組込みモデルバージョンを頻繁に更新できると同時に,組込みの最新バージョンを後方互換性のある履歴バージョンに迅速に変換可能にすることで,コンシューマチームがモデルを再トレーニングする必要がなくなる。
本フレームワークでは,6つの手法を探索し,実世界のレコメンデータ・システム・アプリケーション上で体系的に評価する。
BC-Alignerと呼ばれる最良のメソッドは、複数のモデルバージョンが更新された後も、意図しないタスクとの後方互換性を維持していることを示す。
同時に、bc-alignerは、目的のタスクにのみ最適化された埋め込みモデルと同様の目的のタスク性能を達成する。
関連論文リスト
- Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer [20.96380700548786]
画像検索システムは、古い表現と新しい表現のミスアライメントにより、表現が改善されたモデルを更新する際の課題に直面している。
以前の研究では、バックフィルなしで新しい表現と古い表現を直接比較できる後方互換性のあるトレーニング方法が検討されてきた。
本稿では、後方互換性と独立に訓練されたモデルの性能のバランスをとることに取り組む。
論文 参考訳（メタデータ） (2024-08-16T15:05:28Z) - MUSCLE: A Model Update Strategy for Compatible LLM Evolution [29.032461144831053]
大きな言語モデル(LLM)は定期的に更新され、パフォーマンスが向上する。
あるモデルバージョンから別のモデルバージョンへのパフォーマンスのインスタンスレベルの低下(インスタンス回帰)は、特定の言語モデルの能力に関するユーザのメンタルモデルに干渉する可能性がある。
モデル更新におけるインスタンス回帰の程度を最小化するためのトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2024-07-12T17:12:48Z) - Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。
タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。
我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
論文 参考訳（メタデータ） (2024-03-18T17:58:13Z) - Boundary-aware Backward-Compatible Representation via Adversarial
Learning in Image Retrieval [17.995993499100017]
後方互換性トレーニング(BCT)は、検索性能に悪影響を与えることなく、2つのモデルの互換性を改善する。
本稿では,弾性境界制約付き逆向き学習法AdvBCTを紹介する。
本手法は,互換性と差別性の両方において,他のBCT法よりも優れる。
論文 参考訳（メタデータ） (2023-05-04T07:37:07Z) - Model Ratatouille: Recycling Diverse Models for Out-of-Distribution
Generalization [99.6826401545377]
ファウンデーションモデルは、AIシステムの構築方法を再定義している。実践者は、機械学習ソリューションを構築するための標準手順に従う。
我々は,多種多様な補助的タスクにおいて,同じ基礎モデルの複数の微調整をリサイクルする新しい戦略であるモデルラタトゥーイユを提案する。
論文 参考訳（メタデータ） (2022-12-20T17:21:46Z) - Forward Compatible Few-Shot Class-Incremental Learning [71.2459746681805]
機械学習モデルは、古いクラスを忘れずに新しいクラスを認識するべきである。
現在の手法は漸進的な学習をふりかえりに扱う。
FSCILのためのForwArd Compatible Training (FACT)を提案する。
論文 参考訳（メタデータ） (2022-03-14T09:36:35Z) - Forward Compatible Training for Representation Learning [53.300192863727226]
後方互換トレーニング(BCT)は、新しいモデルのトレーニングを変更して、その表現を古いモデルのトレーニングと互換性を持たせる。
BCTは新しいモデルの性能を著しく損なう可能性がある。
本研究では,表現学習のための新しい学習パラダイムである,前方互換学習(FCT)を提案する。
論文 参考訳（メタデータ） (2021-12-06T06:18:54Z) - Towards Backward-Compatible Representation Learning [86.39292571306395]
異なる次元であっても,従来の計算機能と互換性のある視覚的特徴を学習する方法を提案する。
これにより、埋め込みモデルを更新する際に、以前見たすべての画像の新機能の計算を回避できる。
本稿では、後方互換表現学習の第一歩として、後方互換学習(BCT)と呼ばれる埋め込みモデルを訓練するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-26T14:34:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。