論文の概要: $BT^2$: Backward-compatible Training with Basis Transformation

• arxiv url: http://arxiv.org/abs/2211.03989v1
• Date: Tue, 8 Nov 2022 04:00:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 16:39:19.583888
• Title: $BT^2$: Backward-compatible Training with Basis Transformation
• Title（参考訳）: $BT^2$: バス変換による後方互換トレーニング
• Authors: Yifei Zhou, Zilu Li, Abhinav Shrivastava, Hengshuang Zhao, Antonio Torralba, Taipeng Tian, Ser-Nam Lim
• Abstract要約: 検索システムは、より良い表現モデルに更新する際に、ギャラリー内のすべてのデータの表現を再計算する必要があることが多い。 このプロセスはバックフィルとして知られており、ギャラリーが何十億ものサンプルを含んでいる現実世界では特にコストがかかる。 近年、研究者らは、新しい表現モデルを補助的損失で訓練し、古い表現と後方互換性を持たせることができる、後方互換性トレーニング(BCT)のアイデアを提案している。
• 参考スコア（独自算出の注目度）: 78.4110415918676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern retrieval system often requires recomputing the representation of every piece of data in the gallery when updating to a better representation model. This process is known as backfilling and can be especially costly in the real world where the gallery often contains billions of samples. Recently, researchers have proposed the idea of Backward Compatible Training (BCT) where the new representation model can be trained with an auxiliary loss to make it backward compatible with the old representation. In this way, the new representation can be directly compared with the old representation, in principle avoiding the need for any backfilling. However, followup work shows that there is an inherent tradeoff where a backward compatible representation model cannot simultaneously maintain the performance of the new model itself. This paper reports our ``not-so-surprising'' finding that adding extra dimensions to the representation can help here. However, we also found that naively increasing the dimension of the representation did not work. To deal with this, we propose Backward-compatible Training with a novel Basis Transformation ($BT^2$). A basis transformation (BT) is basically a learnable set of parameters that applies an orthonormal transformation. Such a transformation possesses an important property whereby the original information contained in its input is retained in its output. We show in this paper how a BT can be utilized to add only the necessary amount of additional dimensions. We empirically verify the advantage of $BT^2$ over other state-of-the-art methods in a wide range of settings. We then further extend $BT^2$ to other challenging yet more practical settings, including significant change in model architecture (CNN to Transformers), modality change, and even a series of updates in the model architecture mimicking the evolution of deep learning models.
• Abstract（参考訳）: 現代の検索システムは、より優れた表現モデルに更新する際に、ギャラリー内のすべてのデータの表現を再計算する必要がある。 このプロセスはバックフィル(backfilling)と呼ばれ、ギャラリーが何十億ものサンプルを含む実世界では特にコストがかかる。 近年、研究者は、新しい表現モデルを補助損失で訓練し、古い表現と後方互換性を持たせるための後方互換性トレーニング(bct)のアイデアを提案している。 このように、新しい表現は、原則としてバックフィルの必要性を避けるために、古い表現と直接比較することができる。 しかし、後続の作業は、後方互換性のある表現モデルが新しいモデル自体のパフォーマンスを同時に維持できない固有のトレードオフが存在することを示している。 この記事では、表現に余分な次元を加えることが、ここで役立つことを発見したことを報告します。 しかし, 比例的に表現の次元を増大させることはうまくいかなかった。 そこで本研究では,新しいBasis Transformation(BT^2$)による後方互換性トレーニングを提案する。 基底変換 (BT) は基本的に正則変換を適用するパラメータの学習可能な集合である。 このような変換は、その入力に含まれる元の情報がその出力に保持される重要な特性を持つ。 本稿では,bt を付加次元の必要量のみを付加する方法について述べる。 我々は、さまざまな設定で、他の最先端メソッドに対して$BT^2$の利点を実証的に検証する。 さらに$BT^2$を、モデルアーキテクチャ(CNNからトランスフォーマーへ)の大幅な変更、モダリティの変更、さらにはディープラーニングモデルの進化を模倣したモデルアーキテクチャの一連の更新など、より困難な、より実用的な設定に拡張します。

関連論文リスト

• Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer [20.96380700548786]
  画像検索システムは、古い表現と新しい表現のミスアライメントにより、表現が改善されたモデルを更新する際の課題に直面している。 以前の研究では、バックフィルなしで新しい表現と古い表現を直接比較できる後方互換性のあるトレーニング方法が検討されてきた。 本稿では、後方互換性と独立に訓練されたモデルの性能のバランスをとることに取り組む。
  論文  参考訳（メタデータ） (2024-08-16T15:05:28Z)
• Stationary Representations: Optimally Approximating Compatibility and Implications for Improved Model Replacements [20.96380700548786]
  互換性のある表現を学習することで、モデルが時間とともに更新されるときに、セマンティックな機能の交換可能な使用が可能になる。 これは、ギャラリーイメージの更新モデルによる再処理を避けることが重要となる検索・検索システムにおいて特に重要である。 我々は,$d$-Simplex固定分類器によって学習された定常表現が,形式的定義の2つの不等式制約に従って最適に近似していることを示す。
  論文  参考訳（メタデータ） (2024-05-04T06:31:38Z)
• ReFT: Representation Finetuning for Language Models [74.51093640257892]
  我々はRepresentation Finetuning(ReFT)手法のファミリーを開発する。 ReFTはフリーズベースモデルで動作し、隠れた表現に対するタスク固有の介入を学ぶ。 我々は,8つの常識推論タスク,4つの算術推論タスク,命令チューニング,GLUEについてLoReFTを紹介する。
  論文  参考訳（メタデータ） (2024-04-04T17:00:37Z)
• FastFill: Efficient Compatible Model Update [40.27741553705222]
  FastFillは、機能アライメントとポリシーベースの部分的なバックフィルを使用して、互換性のあるモデル更新プロセスである。 過去のバックフィル戦略は性能低下に悩まされており,オンライン部分補充におけるトレーニング目標と注文の重要性が示されている。
  論文  参考訳（メタデータ） (2023-03-08T18:03:51Z)
• Online Backfilling with No Regret for Large-Scale Image Retrieval [50.162438586686356]
  バックフィルは、画像検索システムにおいて、アップグレードされたモデルからすべてのギャラリー埋め込みを再抽出するプロセスである。 本稿では,オンラインのバックフィルアルゴリズムを提案し,バックフィル処理の進行的な性能向上を実現する。 我々は、逆変換モジュールをより効果的で効率的なマージに組み込み、メトリック互換のコントラスト学習アプローチを採用することでさらに強化する。
  論文  参考訳（メタデータ） (2023-01-10T03:10:32Z)
• Towards Universal Backward-Compatible Representation Learning [29.77801805854168]
  バックフィルフリーモデルアップグレードをサポートするために、後方互換性のある表現学習が導入されている。 まず、モデルアップグレードにおいて、可能なすべてのデータ分割を網羅する、普遍的な後方互換性のある表現学習の新たな問題を導入する。 提案手法は,Universal Backward- Training (UniBCT) とよばれる,シンプルで効果的な手法である。
  論文  参考訳（メタデータ） (2022-03-03T09:23:51Z)
• Forward Compatible Training for Representation Learning [53.300192863727226]
  後方互換トレーニング(BCT)は、新しいモデルのトレーニングを変更して、その表現を古いモデルのトレーニングと互換性を持たせる。 BCTは新しいモデルの性能を著しく損なう可能性がある。 本研究では,表現学習のための新しい学習パラダイムである,前方互換学習(FCT)を提案する。
  論文  参考訳（メタデータ） (2021-12-06T06:18:54Z)
• Visformer: The Vision-friendly Transformer [105.52122194322592]
  我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。 同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
  論文  参考訳（メタデータ） (2021-04-26T13:13:03Z)
• Towards Backward-Compatible Representation Learning [86.39292571306395]
  異なる次元であっても,従来の計算機能と互換性のある視覚的特徴を学習する方法を提案する。 これにより、埋め込みモデルを更新する際に、以前見たすべての画像の新機能の計算を回避できる。 本稿では、後方互換表現学習の第一歩として、後方互換学習(BCT)と呼ばれる埋め込みモデルを訓練するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-26T14:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。