論文の概要: Three Things to Know about Deep Metric Learning

• arxiv url: http://arxiv.org/abs/2412.12432v1
• Date: Tue, 17 Dec 2024 00:49:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:01:28.014800
• Title: Three Things to Know about Deep Metric Learning
• Title（参考訳）: Deep Metric Learningについて知っておくべき3つのこと
• Authors: Yash Patel, Giorgos Tolias, Jiri Matas,
• Abstract要約: 本稿では,オープンセット画像検索のための教師付き深度学習について述べる。 損失関数、ミックスアップ正規化、モデル初期化の3つの重要な側面に焦点を当てている。 これらのコンポーネントの体系的な研究を通じて、それらの相乗効果により、大規模なモデルが一般的なベンチマークをほぼ解決できることを実証する。
• 参考スコア（独自算出の注目度）: 34.16300515811057
• License:
• Abstract: This paper addresses supervised deep metric learning for open-set image retrieval, focusing on three key aspects: the loss function, mixup regularization, and model initialization. In deep metric learning, optimizing the retrieval evaluation metric, recall@k, via gradient descent is desirable but challenging due to its non-differentiable nature. To overcome this, we propose a differentiable surrogate loss that is computed on large batches, nearly equivalent to the entire training set. This computationally intensive process is made feasible through an implementation that bypasses the GPU memory limitations. Additionally, we introduce an efficient mixup regularization technique that operates on pairwise scalar similarities, effectively increasing the batch size even further. The training process is further enhanced by initializing the vision encoder using foundational models, which are pre-trained on large-scale datasets. Through a systematic study of these components, we demonstrate that their synergy enables large models to nearly solve popular benchmarks.
• Abstract（参考訳）: 本稿では、損失関数、ミックスアップ正規化、モデル初期化の3つの重要な側面に着目し、オープンセット画像検索のための教師付き深度検定学習について述べる。 ディープ・メトリック・ラーニングでは、評価基準であるリコール@kを勾配降下によって最適化することが望ましいが、微分不可能な性質のため困難である。 これを解決するために,大規模なバッチで計算される差分サロゲート損失を,トレーニングセット全体とほぼ同等に提案する。 この計算集約的なプロセスは、GPUメモリ制限をバイパスする実装によって実現可能である。 さらに、ペアワイズスカラーの類似性を利用する効率的なミックスアップ正規化手法を導入し、バッチサイズをさらに大きくする。 大規模データセットで事前トレーニングされた基礎モデルを用いて視覚エンコーダを初期化することにより、トレーニングプロセスをさらに強化する。 これらのコンポーネントの体系的な研究を通じて、それらの相乗効果により、大規模なモデルが一般的なベンチマークをほぼ解決できることを実証する。

関連論文リスト

• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Improving Point Cloud Based Place Recognition with Ranking-based Loss and Large Batch Training [1.116812194101501]
  本稿では,識別可能な3Dポイントクラウド記述子を計算するための,シンプルで効果的な学習手法を提案する。 本稿では,画像検索における最近の進歩を取り入れ,異なる平均精度近似に基づく損失関数の修正版を提案する。
  論文  参考訳（メタデータ） (2022-03-02T09:29:28Z)
• Relational Surrogate Loss Learning [41.61184221367546]
  本稿では、評価指標を近似するためにディープニューラルネットワークを用いる代理損失学習を再考する。 本稿では,サロゲート損失と測定値の関係を直接的に維持することを示す。 私たちの方法は最適化がずっと簡単で、大幅な効率と性能向上を享受しています。
  論文  参考訳（メタデータ） (2022-02-26T17:32:57Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)
• Recall@k Surrogate Loss with Large Batches and Similarity Mixup [62.67458021725227]
  微分不可能な場合、評価計量の勾配降下による直接最適化は不可能である。 本研究は,リコールにおける相異なるサロゲート損失を提案する。 提案手法は,複数の画像検索ベンチマークにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-08-25T11:09:11Z)
• More Is Better: An Analysis of Instance Quantity/Quality Trade-off in Rehearsal-based Continual Learning [3.9596068699962315]
  連続学習はコネクショナリストシステムの安定性・塑性ジレンマに対処する手段となっている。 本稿では、メモリに格納可能なインスタンス数を増やすために、様々なデータ削減アプローチを採用したメモリ量/品質トレードオフの分析を行う。 その結果, 最適トレードオフは, 非常に圧縮された複数のインスタンスによるリハーサルアプローチが, 最先端のアプローチよりも容易に向上することがわかった。
  論文  参考訳（メタデータ） (2021-05-28T21:05:51Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• Deep Optimized Priors for 3D Shape Modeling and Reconstruction [38.79018852887249]
  3Dモデリングと再構築のための新しい学習フレームワークを紹介します。 提案手法は,事前訓練によって制約された障壁を効果的に破壊することを示す。
  論文  参考訳（メタデータ） (2020-12-14T03:56:31Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Embedding Expansion: Augmentation in Embedding Space for Deep Metric Learning [17.19890778916312]
  本稿では、組込み拡張と呼ばれる、ペアベースのメートル法学習損失に対する組込み空間における拡張手法を提案する。 その単純さと柔軟性のために、モデルのサイズ、トレーニング速度、最適化の難しさに影響を与えることなく、既存のメトリック学習損失に使用できる。
  論文  参考訳（メタデータ） (2020-03-05T11:43:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。