論文の概要: Embedding Transfer with Label Relaxation for Improved Metric Learning

• arxiv url: http://arxiv.org/abs/2103.14908v1
• Date: Sat, 27 Mar 2021 13:35:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 10:39:06.896998
• Title: Embedding Transfer with Label Relaxation for Improved Metric Learning
• Title（参考訳）: メトリクス学習を改善するためのラベルリラクゼーションによる埋め込み転送
• Authors: Sungyeon Kim, Dongwon Kim, Minsu Cho, Suha Kwak
• Abstract要約: 本稿では,学習した埋め込みモデルの知識を他へ伝達する,新しい埋め込み変換手法を提案する。 本手法は,ソース埋め込み空間のサンプル間の類似性を知識として活用し,対象埋め込みモデルの学習に用いる損失を伝達する。
• 参考スコア（独自算出の注目度）: 43.94511888670419
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a novel method for embedding transfer, a task of transferring knowledge of a learned embedding model to another. Our method exploits pairwise similarities between samples in the source embedding space as the knowledge, and transfers them through a loss used for learning target embedding models. To this end, we design a new loss called relaxed contrastive loss, which employs the pairwise similarities as relaxed labels for inter-sample relations. Our loss provides a rich supervisory signal beyond class equivalence, enables more important pairs to contribute more to training, and imposes no restriction on manifolds of target embedding spaces. Experiments on metric learning benchmarks demonstrate that our method largely improves performance, or reduces sizes and output dimensions of target models effectively. We further show that it can be also used to enhance quality of self-supervised representation and performance of classification models. In all the experiments, our method clearly outperforms existing embedding transfer techniques.
• Abstract（参考訳）: 本稿では,学習した埋め込みモデルの知識を他へ伝達する,新しい埋め込み変換手法を提案する。 本手法は,ソース埋め込み空間のサンプル間の類似性を知識として活用し,対象埋め込みモデルの学習に用いる損失を伝達する。 この目的のために, 相対的損失という新たな損失を設計し, ペアの類似性を, 標本間関係のための緩和ラベルとして利用する。 我々の損失は、クラス同値を超え、より重要なペアがより訓練に寄与し、ターゲット埋め込み空間の多様体に制限を課さないような、豊富な監督信号を提供する。 計量学習ベンチマーク実験により,本手法は性能を大幅に向上させるか,ターゲットモデルのサイズや出力寸法を効果的に削減することを示した。 さらに, 自己教師あり表現の品質向上や分類モデルの性能向上にも利用できることを示した。 全ての実験において,本手法は既存の埋め込み転送技術より明らかに優れている。

関連論文リスト

• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• Metric Learning as a Service with Covariance Embedding [7.5989847759545155]
  メトリック学習は、クラス内およびクラス間の類似性を最大化し、最小化する。 既存のモデルは、分離可能な埋め込み空間を得るために主に距離測度に依存する。 高性能なディープラーニングアプリケーションのためのサービスとしてメトリック学習を有効にするためには、クラス間の関係も賢明に扱うべきだ、と我々は主張する。
  論文  参考訳（メタデータ） (2022-11-28T10:10:59Z)
• Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks [79.13089902898848]
  自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。 コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
  論文  参考訳（メタデータ） (2021-11-22T18:16:35Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)
• Boosting Deep Transfer Learning for COVID-19 Classification [18.39034705389625]
  胸部CTを用いた新型コロナウイルスの分類は現実的に有用である。 限られたCTデータでより正確な新型コロナウイルス分類のためのバニラ転送学習よりも優れた戦略があるかどうかはまだ不明です。 本稿では,タスクの伝達学習において,大幅な性能向上を実現する新しいモデル拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-02-16T11:15:23Z)
• Spatial Contrastive Learning for Few-Shot Classification [9.66840768820136]
  局所的識別性およびクラス非依存性の特徴を学習するための新しい注意に基づく空間コントラスト目標を提案する。 実験により,提案手法は最先端手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-12-26T23:39:41Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Self-Supervised Prototypical Transfer Learning for Few-Shot Classification [11.96734018295146]
  自己教師ありトランスファー学習アプローチ ProtoTransferは、数ショットタスクにおいて、最先端の教師なしメタラーニング手法より優れている。 ドメインシフトを用いた数ショットの実験では、我々のアプローチは教師付きメソッドに匹敵する性能を持つが、ラベルの桁数は桁違いである。
  論文  参考訳（メタデータ） (2020-06-19T19:00:11Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。