論文の概要: S2SD: Simultaneous Similarity-based Self-Distillation for Deep Metric Learning

• arxiv url: http://arxiv.org/abs/2009.08348v3
• Date: Fri, 4 Jun 2021 23:07:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 11:47:29.543951
• Title: S2SD: Simultaneous Similarity-based Self-Distillation for Deep Metric Learning
• Title（参考訳）: S2SD:Deep Metric Learningのための同時類似性に基づく自己蒸留
• Authors: Karsten Roth, Timo Milbich, Bj\"orn Ommer, Joseph Paul Cohen, Marzyeh Ghassemi
• Abstract要約: DMLは視覚的類似性とゼロショットアプリケーションにとって重要なツールである。 我々は,emphSimultaneous similarity-based Self-distillation (S2SD)を提案する。 S2SDはDMLを拡張し、補助的、高次元埋め込みおよび特徴空間からの知識蒸留を行う。
• 参考スコア（独自算出の注目度）: 23.882865574114472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Metric Learning (DML) provides a crucial tool for visual similarity and zero-shot applications by learning generalizing embedding spaces, although recent work in DML has shown strong performance saturation across training objectives. However, generalization capacity is known to scale with the embedding space dimensionality. Unfortunately, high dimensional embeddings also create higher retrieval cost for downstream applications. To remedy this, we propose \emph{Simultaneous Similarity-based Self-distillation (S2SD). S2SD extends DML with knowledge distillation from auxiliary, high-dimensional embedding and feature spaces to leverage complementary context during training while retaining test-time cost and with negligible changes to the training time. Experiments and ablations across different objectives and standard benchmarks show S2SD offers notable improvements of up to 7% in Recall@1, while also setting a new state-of-the-art. Code available at https://github.com/MLforHealth/S2SD.
• Abstract（参考訳）: Deep Metric Learning (DML)は、埋め込み空間の一般化を学ぶことによって、視覚的類似性とゼロショットアプリケーションにとって重要なツールを提供する。 しかし、一般化能力は埋め込み空間次元でスケールすることが知られている。 残念なことに、高次元埋め込みは下流アプリケーションに対して高い検索コストをもたらす。 そこで我々は, 自己蒸留法(S2SD)を提案する。 S2SDはDMLを拡張し、補助的な高次元埋め込みと特徴空間から知識蒸留を行い、テスト時間コストを維持しながら、トレーニング中に相補的な文脈を活用する。 さまざまな目的と標準ベンチマークに対する実験と改善により、S2SDはRecall@1で最大7%改善され、同時に新たな最先端設定が実現された。 コードはhttps://github.com/mlforhealth/s2sdで入手できる。

関連論文リスト

• 2D Matryoshka Training for Information Retrieval [32.44832240958393]
  2D Matryoshka Trainingは、エンコーダモデルを様々なレイヤ次元のセットアップで同時にトレーニングするために設計された埋め込み表現トレーニングアプローチである。 STSタスクにおける2D Matryoshka Trainingの両バージョンの実装と評価を行い,解析を検索タスクに拡張した。
  論文  参考訳（メタデータ） (2024-11-26T10:47:35Z)
• Exploring the Benefit of Activation Sparsity in Pre-training [117.25661020250658]
  プレトレーニング中に活性化特性がどう変化するかを検討した。 本稿では,Sparse-Dense Learning (SSD)を提案する。 SSDは同じモデルサイズで同等のパフォーマンスを実現し、事前トレーニングコストを削減する。
  論文  参考訳（メタデータ） (2024-10-04T13:53:33Z)
• 4D Contrastive Superflows are Dense 3D Representation Learners [62.433137130087445]
  我々は,LiDARとカメラのペアを連続的に利用して事前学習の目的を確立するための,新しいフレームワークであるSuperFlowを紹介する。 学習効率をさらに向上するため,カメラビューから抽出した知識の整合性を高めるプラグイン・アンド・プレイ・ビュー・一貫性モジュールを組み込んだ。
  論文  参考訳（メタデータ） (2024-07-08T17:59:54Z)
• Small Scale Data-Free Knowledge Distillation [37.708282211941416]
  小型データフリーな知識蒸留SSD-KDを提案する。 SSD-KDは、適切なサンプルを選択するために、合成サンプルと優先サンプリング関数のバランスをとる。 非常に少量の合成サンプルで蒸留訓練を行うことができる。
  論文  参考訳（メタデータ） (2024-06-12T05:09:41Z)
• Making Scalable Meta Learning Practical [40.24886572503001]
  メタ学習は、その膨大な計算/メモリコスト、トレーニング不安定性、効率的な分散トレーニングサポートの欠如により、スケーラビリティの低下に悩まされてきた。 本研究では,暗黙の識別アルゴリズムとシステムの両方の進歩を組み合わせたSAMAを導入することで,スケーラブルなメタ学習の実現に注力する。 我々は,SAMAに基づくデータ最適化により,BERTやRoBERTaの大規模言語モデルによるテキスト分類精度が一貫した改善が達成され,画像分類タスクによる小型・大規模データプルーニングにおいて,最先端の処理結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-09T12:45:13Z)
• State Representation Learning Using an Unbalanced Atlas [8.938418994111716]
  本稿では,非平衡アトラス(UA)を用いた,最先端の自己教師型学習手法を超越した新しい学習パラダイムを提案する。 DIM-UAの有効性は、Atari Annotated RAM Interfaceベンチマークのトレーニングと評価を通じて実証される。
  論文  参考訳（メタデータ） (2023-05-17T14:58:58Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Activation to Saliency: Forming High-Quality Labels for Unsupervised Salient Object Detection [54.92703325989853]
  本稿では,高品質なサリエンシキューを効果的に生成する2段階アクティベーション・ツー・サリエンシ(A2S)フレームワークを提案する。 トレーニングプロセス全体において、私たちのフレームワークにヒューマンアノテーションは関与していません。 本フレームワークは,既存のUSOD法と比較して高い性能を示した。
  論文  参考訳（メタデータ） (2021-12-07T11:54:06Z)
• Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
  本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。 最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。 提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
  論文  参考訳（メタデータ） (2021-11-26T18:44:59Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。