論文の概要: Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer

• arxiv url: http://arxiv.org/abs/2408.08793v1
• Date: Fri, 16 Aug 2024 15:05:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 15:03:59.347124
• Title: Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer
• Title（参考訳）: 直交変換層による後方対応型アライメント
• Authors: Simone Ricci, Niccolò Biondi, Federico Pernici, Alberto Del Bimbo,
• Abstract要約: 画像検索システムは、古い表現と新しい表現のミスアライメントにより、表現が改善されたモデルを更新する際の課題に直面している。 以前の研究では、バックフィルなしで新しい表現と古い表現を直接比較できる後方互換性のあるトレーニング方法が検討されてきた。 本稿では、後方互換性と独立に訓練されたモデルの性能のバランスをとることに取り組む。
• 参考スコア（独自算出の注目度）: 20.96380700548786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual retrieval systems face significant challenges when updating models with improved representations due to misalignment between the old and new representations. The costly and resource-intensive backfilling process involves recalculating feature vectors for images in the gallery set whenever a new model is introduced. To address this, prior research has explored backward-compatible training methods that enable direct comparisons between new and old representations without backfilling. Despite these advancements, achieving a balance between backward compatibility and the performance of independently trained models remains an open problem. In this paper, we address it by expanding the representation space with additional dimensions and learning an orthogonal transformation to achieve compatibility with old models and, at the same time, integrate new information. This transformation preserves the original feature space's geometry, ensuring that our model aligns with previous versions while also learning new data. Our Orthogonal Compatible Aligned (OCA) approach eliminates the need for re-indexing during model updates and ensures that features can be compared directly across different model updates without additional mapping functions. Experimental results on CIFAR-100 and ImageNet-1k demonstrate that our method not only maintains compatibility with previous models but also achieves state-of-the-art accuracy, outperforming several existing methods.
• Abstract（参考訳）: 画像検索システムは、古い表現と新しい表現のミスアライメントにより、表現を改善したモデルを更新する際、重大な課題に直面している。 コストが高くリソース集約的なバックフィルプロセスでは、新しいモデルが導入されるたびにギャラリー内の画像の特徴ベクトルを再計算する。 これを解決するために、従来の研究では、バックフィルなしで新しい表現と古い表現を直接比較できる後方互換性のあるトレーニング方法を模索してきた。 これらの進歩にもかかわらず、後方互換性と独立に訓練されたモデルの性能のバランスをとることは未解決の問題である。 本稿では,表現空間を付加次元で拡張し,旧モデルとの整合性を達成するために直交変換を学習し,同時に新たな情報を統合することで,この問題に対処する。 この変換は、元の特徴空間の幾何学を保ち、我々のモデルは、新しいデータを学習しながら、以前のバージョンと整合することを保証する。 我々のOrthogonal Compatible Aligned (OCA)アプローチは、モデル更新中に再インデックスを行う必要をなくし、追加のマッピング機能なしで、さまざまなモデル更新間で機能を直接比較できるようにします。 CIFAR-100 と ImageNet-1k の実験結果から,本手法は従来のモデルとの互換性を保ちつつ,最先端の精度を達成し,既存手法よりも優れていることが示された。

関連論文リスト

• MixBCT: Towards Self-Adapting Backward-Compatible Training [66.52766344751635]
  そこで本研究では,単純かつ高効率な後方互換性学習法であるMixBCTを提案する。 大規模顔認識データセットMS1Mv3とIJB-Cについて実験を行った。
  論文  参考訳（メタデータ） (2023-08-14T05:55:38Z)
• FastFill: Efficient Compatible Model Update [40.27741553705222]
  FastFillは、機能アライメントとポリシーベースの部分的なバックフィルを使用して、互換性のあるモデル更新プロセスである。 過去のバックフィル戦略は性能低下に悩まされており,オンライン部分補充におけるトレーニング目標と注文の重要性が示されている。
  論文  参考訳（メタデータ） (2023-03-08T18:03:51Z)
• Online Backfilling with No Regret for Large-Scale Image Retrieval [50.162438586686356]
  バックフィルは、画像検索システムにおいて、アップグレードされたモデルからすべてのギャラリー埋め込みを再抽出するプロセスである。 本稿では,オンラインのバックフィルアルゴリズムを提案し,バックフィル処理の進行的な性能向上を実現する。 我々は、逆変換モジュールをより効果的で効率的なマージに組み込み、メトリック互換のコントラスト学習アプローチを採用することでさらに強化する。
  論文  参考訳（メタデータ） (2023-01-10T03:10:32Z)
• $BT^2$: Backward-compatible Training with Basis Transformation [107.37014712361788]
  検索システムは、より良い表現モデルに更新する際に、ギャラリー内のすべてのデータの表現を再計算する必要があることが多い。 このプロセスはバックフィルとして知られており、ギャラリーが何十億ものサンプルを含んでいる現実世界では特にコストがかかる。 近年、研究者らは、新しい表現モデルを補助的損失で訓練し、古い表現と後方互換性を持たせることができる、後方互換性トレーニング(BCT)のアイデアを提案している。
  論文  参考訳（メタデータ） (2022-11-08T04:00:23Z)
• Towards Universal Backward-Compatible Representation Learning [29.77801805854168]
  バックフィルフリーモデルアップグレードをサポートするために、後方互換性のある表現学習が導入されている。 まず、モデルアップグレードにおいて、可能なすべてのデータ分割を網羅する、普遍的な後方互換性のある表現学習の新たな問題を導入する。 提案手法は,Universal Backward- Training (UniBCT) とよばれる,シンプルで効果的な手法である。
  論文  参考訳（メタデータ） (2022-03-03T09:23:51Z)
• Forward Compatible Training for Representation Learning [53.300192863727226]
  後方互換トレーニング(BCT)は、新しいモデルのトレーニングを変更して、その表現を古いモデルのトレーニングと互換性を持たせる。 BCTは新しいモデルの性能を著しく損なう可能性がある。 本研究では,表現学習のための新しい学習パラダイムである,前方互換学習(FCT)を提案する。
  論文  参考訳（メタデータ） (2021-12-06T06:18:54Z)
• Neighborhood Consensus Contrastive Learning for Backward-Compatible Representation [46.86784621137665]
  古い"機能と互換性のある"新しい"機能を可能にするために、後方互換性のある表現が提案されている。 本稿では,近隣のコンセンサス・コントラスト・ラーニング(NCCL)手法を提案する。 提案手法は,新しいモデルの精度を損なうことなく後方互換性を確保する。
  論文  参考訳（メタデータ） (2021-08-07T05:50:47Z)
• Towards Backward-Compatible Representation Learning [86.39292571306395]
  異なる次元であっても,従来の計算機能と互換性のある視覚的特徴を学習する方法を提案する。 これにより、埋め込みモデルを更新する際に、以前見たすべての画像の新機能の計算を回避できる。 本稿では、後方互換表現学習の第一歩として、後方互換学習(BCT)と呼ばれる埋め込みモデルを訓練するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-26T14:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。