論文の概要: Adaptive Cross Batch Normalization for Metric Learning

• arxiv url: http://arxiv.org/abs/2303.17127v1
• Date: Thu, 30 Mar 2023 03:22:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 14:35:48.723791
• Title: Adaptive Cross Batch Normalization for Metric Learning
• Title（参考訳）: メトリック学習のための適応的クロスバッチ正規化
• Authors: Thalaiyasingam Ajanthan, Matt Ma, Anton van den Hengel, Stephen Gould
• Abstract要約: メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
• 参考スコア（独自算出の注目度）: 75.91093210956116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Metric learning is a fundamental problem in computer vision whereby a model is trained to learn a semantically useful embedding space via ranking losses. Traditionally, the effectiveness of a ranking loss depends on the minibatch size, and is, therefore, inherently limited by the memory constraints of the underlying hardware. While simply accumulating the embeddings across minibatches has proved useful (Wang et al. [2020]), we show that it is equally important to ensure that the accumulated embeddings are up to date. In particular, it is necessary to circumvent the representational drift between the accumulated embeddings and the feature embeddings at the current training iteration as the learnable parameters are being updated. In this paper, we model representational drift as distribution misalignment and tackle it using moment matching. The result is a simple method for updating the stored embeddings to match the first and second moments of the current embeddings at each training iteration. Experiments on three popular image retrieval datasets, namely, SOP, In-Shop, and DeepFashion2, demonstrate that our approach significantly improves the performance in all scenarios.
• Abstract（参考訳）: メトリック学習はコンピュータビジョンにおける基本的な問題であり、モデルはランキングの損失を通じて意味的に有用な埋め込み空間を学ぶように訓練される。 伝統的に、ランキング損失の有効性はミニバッチサイズに依存するため、本質的には基礎となるハードウェアのメモリ制約によって制限される。 ミニバッチ間の埋め込みを単純に蓄積することは有用であることが証明されている(Wang et al. [2020] )が、蓄積した埋め込みが最新であることを保証することは同様に重要であることを示す。 特に、学習可能なパラメータが更新されているため、蓄積された埋め込みと現在のトレーニングイテレーションでの埋め込み間の表現的ドリフトを回避する必要がある。 本稿では,分布のずれとして表現ドリフトをモデル化し,モーメントマッチングを用いてそれに取り組む。 その結果、各トレーニングイテレーションで現在の埋め込みの第一モーメントと第二モーメントにマッチするように、ストアド埋め込みを更新する簡単な方法が出来上がります。 SOP、In-Shop、DeepFashion2という3つの人気のある画像検索データセットの実験は、我々のアプローチがすべてのシナリオのパフォーマンスを大幅に改善することを示した。

関連論文リスト

• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• IB-DRR: Incremental Learning with Information-Back Discrete Representation Replay [4.8666876477091865]
  インクリメンタルラーニングは、機械学習モデルが新しいクラスから新しい知識を継続的に取得できるようにすることを目的としている。 以前に見たクラスのトレーニングサンプルのサブセットをメモリに保存し、新しいトレーニングフェーズ中に再生することは、この目標を達成するために効率的で効果的な方法であることが証明されています。 しかし、モデルパフォーマンスと各クラスに保存するサンプル数とのトレードオフを見つけることは、リプレイベースの漸進学習では依然として未解決の問題である。
  論文  参考訳（メタデータ） (2021-04-21T15:32:11Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• On the Exploration of Incremental Learning for Fine-grained Image Retrieval [45.48333682748607]
  我々は,新たなカテゴリが時間とともに追加される場合に,細粒度画像検索の問題を漸進的に考慮する。 本稿では,検索性能の劣化を抑えるための漸進学習手法を提案する。 提案手法は,新しいクラスにおいて高い性能を保ちながら,元のクラスにおける破滅的な忘れを効果的に軽減する。
  論文  参考訳（メタデータ） (2020-10-15T21:07:44Z)
• Memory-Efficient Incremental Learning Through Feature Adaptation [71.1449769528535]
  本稿では,以前学習したクラスから,画像の特徴記述子を保存するインクリメンタルラーニングのアプローチを提案する。 画像のより低次元の機能埋め込みを維持することで、メモリフットプリントが大幅に削減される。 実験の結果,インクリメンタルラーニングベンチマークにおいて,最先端の分類精度が得られた。
  論文  参考訳（メタデータ） (2020-04-01T21:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。