論文の概要: CoReS: Compatible Representations via Stationarity

• arxiv url: http://arxiv.org/abs/2111.07632v3
• Date: Tue, 28 Mar 2023 13:06:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 20:12:04.786821
• Title: CoReS: Compatible Representations via Stationarity
• Title（参考訳）: cores: stationarity による互換表現
• Authors: Niccolo Biondi and Federico Pernici and Matteo Bruni and Alberto Del Bimbo
• Abstract要約: ビジュアルサーチシステムでは、互換性のある機能により、古い機能と新しい機能を直接比較することができ、時間とともに相互に使用することができる。 従来学習されていた表現とテキスト互換の表現を学習するための新しい訓練手法であるCoReSを提案する。 トレーニングセットの更新を複数行う場合,我々のトレーニング手順が現在の技術よりも優れており,特に有効であることを示す。
• 参考スコア（独自算出の注目度）: 20.607894099896214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compatible features enable the direct comparison of old and new learned features allowing to use them interchangeably over time. In visual search systems, this eliminates the need to extract new features from the gallery-set when the representation model is upgraded with novel data. This has a big value in real applications as re-indexing the gallery-set can be computationally expensive when the gallery-set is large, or even infeasible due to privacy or other concerns of the application. In this paper, we propose CoReS, a new training procedure to learn representations that are \textit{compatible} with those previously learned, grounding on the stationarity of the features as provided by fixed classifiers based on polytopes. With this solution, classes are maximally separated in the representation space and maintain their spatial configuration stationary as new classes are added, so that there is no need to learn any mappings between representations nor to impose pairwise training with the previously learned model. We demonstrate that our training procedure largely outperforms the current state of the art and is particularly effective in the case of multiple upgrades of the training-set, which is the typical case in real applications.
• Abstract（参考訳）: 互換性のある機能により、古い機能と新しい機能を直接比較することができる。 ビジュアル検索システムでは,表現モデルを新しいデータでアップグレードする場合に,ギャラリーセットから新機能を抽出する必要がなくなる。 これは、ギャラリーセットの再インデクシングは、ギャラリーセットが大きければ計算的にコストがかかる可能性があるため、実際のアプリケーションにおいて大きな価値を持つ。 本稿では, ポリトープに基づく固定分類器によって提供される特徴の定常性に基づいて, 以前に学習した表現と \textit{compatible} の表現を学習するための新しい学習手順であるcoresを提案する。 このソリューションでは、クラスは表現空間内で最大に分離され、新しいクラスが追加されるにつれて空間的構成が定常的に維持されるため、表現間のマッピングを学習したり、以前に学習したモデルとペアワイズトレーニングを課したりする必要がなくなる。 実際のアプリケーションでは典型例であるトレーニングセットを複数アップグレードする場合,トレーニング手順が現在の技術を大きく上回っており,特に効果的であることを示す。

関連論文リスト

• Dual Consolidation for Pre-Trained Model-Based Domain-Incremental Learning [64.1745161657794]
  ドメイン・インクリメンタル・ラーニング(ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、Domain-Incremental Learning、DIL)は、異なるドメインにまたがる新しい概念へのモデルの漸進的な適応を含む。 プレトレーニングモデルの最近の進歩は、DILの確かな基盤を提供する。 しかし、新しい概念を学ぶことは、しばしば、事前訓練された知識を破滅的に忘れてしまう。 本稿では,歴史的知識の統一と統合を図るために,デュアルコンソリデータティオン(ドゥクト)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T17:58:06Z)
• Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer [20.96380700548786]
  画像検索システムは、古い表現と新しい表現のミスアライメントにより、表現が改善されたモデルを更新する際の課題に直面している。 以前の研究では、バックフィルなしで新しい表現と古い表現を直接比較できる後方互換性のあるトレーニング方法が検討されてきた。 本稿では、後方互換性と独立に訓練されたモデルの性能のバランスをとることに取り組む。
  論文  参考訳（メタデータ） (2024-08-16T15:05:28Z)
• Stationary Representations: Optimally Approximating Compatibility and Implications for Improved Model Replacements [20.96380700548786]
  互換性のある表現を学習することで、モデルが時間とともに更新されるときに、セマンティックな機能の交換可能な使用が可能になる。 これは、ギャラリーイメージの更新モデルによる再処理を避けることが重要となる検索・検索システムにおいて特に重要である。 我々は,$d$-Simplex固定分類器によって学習された定常表現が,形式的定義の2つの不等式制約に従って最適に近似していることを示す。
  論文  参考訳（メタデータ） (2024-05-04T06:31:38Z)
• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Towards Universal Backward-Compatible Representation Learning [29.77801805854168]
  バックフィルフリーモデルアップグレードをサポートするために、後方互換性のある表現学習が導入されている。 まず、モデルアップグレードにおいて、可能なすべてのデータ分割を網羅する、普遍的な後方互換性のある表現学習の新たな問題を導入する。 提案手法は,Universal Backward- Training (UniBCT) とよばれる,シンプルで効果的な手法である。
  論文  参考訳（メタデータ） (2022-03-03T09:23:51Z)
• Subspace Regularizers for Few-Shot Class Incremental Learning [26.372024890126408]
  既存のクラスの重みに代表される部分空間に近づき、新しいクラスに対する重みベクトルを奨励する、新しい部分空間正規化スキームの族を示す。 この結果から,クラス表現の幾何学的正則化は連続学習に有効なツールであることが示唆された。
  論文  参考訳（メタデータ） (2021-10-13T22:19:53Z)
• Region Comparison Network for Interpretable Few-shot Image Classification [97.97902360117368]
  新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。 本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。 また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
  論文  参考訳（メタデータ） (2020-09-08T07:29:05Z)
• Memory-Efficient Incremental Learning Through Feature Adaptation [71.1449769528535]
  本稿では,以前学習したクラスから,画像の特徴記述子を保存するインクリメンタルラーニングのアプローチを提案する。 画像のより低次元の機能埋め込みを維持することで、メモリフットプリントが大幅に削減される。 実験の結果,インクリメンタルラーニングベンチマークにおいて,最先端の分類精度が得られた。
  論文  参考訳（メタデータ） (2020-04-01T21:16:05Z)
• Towards Backward-Compatible Representation Learning [86.39292571306395]
  異なる次元であっても,従来の計算機能と互換性のある視覚的特徴を学習する方法を提案する。 これにより、埋め込みモデルを更新する際に、以前見たすべての画像の新機能の計算を回避できる。 本稿では、後方互換表現学習の第一歩として、後方互換学習(BCT)と呼ばれる埋め込みモデルを訓練するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-26T14:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。