論文の概要: Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric
- arxiv url: http://arxiv.org/abs/2407.03106v1
- Date: Wed, 3 Jul 2024 13:44:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 14:06:19.748557
- Title: Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric
- Title（参考訳）: 符号化速度指標に基づく深層学習における反崩壊損失
- Authors: Xiruo Jiang, Yazhou Yao, Xili Dai, Fumin Shen, Xian-Sheng Hua, Heng-Tao Shen,
- Abstract要約: DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。
埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。
ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
- 参考スコア（独自算出の注目度）: 99.19559537966538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep metric learning (DML) aims to learn a discriminative high-dimensional embedding space for downstream tasks like classification, clustering, and retrieval. Prior literature predominantly focuses on pair-based and proxy-based methods to maximize inter-class discrepancy and minimize intra-class diversity. However, these methods tend to suffer from the collapse of the embedding space due to their over-reliance on label information. This leads to sub-optimal feature representation and inferior model performance. To maintain the structure of embedding space and avoid feature collapse, we propose a novel loss function called Anti-Collapse Loss. Specifically, our proposed loss primarily draws inspiration from the principle of Maximal Coding Rate Reduction. It promotes the sparseness of feature clusters in the embedding space to prevent collapse by maximizing the average coding rate of sample features or class proxies. Moreover, we integrate our proposed loss with pair-based and proxy-based methods, resulting in notable performance improvement. Comprehensive experiments on benchmark datasets demonstrate that our proposed method outperforms existing state-of-the-art methods. Extensive ablation studies verify the effectiveness of our method in preventing embedding space collapse and promoting generalization performance.
- Abstract（参考訳）: ディープメトリックラーニング(DML)は、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。
以前の文献は、主に、クラス間の差異を最大化し、クラス内の多様性を最小化するペアベースおよびプロキシベースの方法に焦点を当てていた。
しかし,これらの手法はラベル情報への依存度が高すぎるため,埋め込み空間の崩壊に悩まされる傾向にある。
これは、サブ最適特徴表現と劣ったモデルパフォーマンスをもたらす。
埋め込み空間の構造を維持し,特徴の崩壊を回避するために,反崩壊損失と呼ばれる新しい損失関数を提案する。
特に,提案した損失は,最大符号化率低下の原理から主にインスピレーションを得ている。
組込み空間における特徴クラスタのスパース性を促進し、サンプル特徴量やクラスプロキシの平均符号化率を最大化することにより、崩壊を防止する。
さらに、提案した損失をペアベースおよびプロキシベース手法と統合し、性能改善を図った。
ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
包埋空間崩壊の防止と一般化性能の向上に本手法の有効性を検証する。
関連論文リスト
- Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。
提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
論文 参考訳（メタデータ） (2024-05-17T19:49:02Z) - Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP) [0.0]
CLOPは、クラス埋め込み間の線形部分空間の形成を促進することにより、神経崩壊を防止するために設計された、新しい半教師付き損失関数である。
CLOPは性能を向上し,学習速度やバッチサイズにまたがる安定性が向上することを示す。
論文 参考訳（メタデータ） (2024-03-27T15:48:16Z) - Small Object Detection via Coarse-to-fine Proposal Generation and
Imitation Learning [52.06176253457522]
本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。
CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
論文 参考訳（メタデータ） (2023-08-18T13:13:09Z) - Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection [37.99031842449251]
弱い監督下での映像異常検出は重大な課題を呈する。
本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。
提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
論文 参考訳（メタデータ） (2023-06-26T06:45:16Z) - Deep Metric Learning with Soft Orthogonal Proxies [1.823505080809275]
本稿では,プロキシにソフト直交性(SO)制約を導入する新しいアプローチを提案する。
提案手法では,DMLの目的と合わせて,画像からコンテキスト特徴を抽出するエンコーダとして,データ効率の良い画像変換器(DeiT)を利用する。
提案手法が最先端手法よりも有意なマージンで優れていることを示す。
論文 参考訳（メタデータ） (2023-06-22T17:22:15Z) - Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。
本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
論文 参考訳（メタデータ） (2021-07-28T05:18:10Z) - MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。
本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。
特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
論文 参考訳（メタデータ） (2021-07-23T06:57:08Z) - Embedding Transfer with Label Relaxation for Improved Metric Learning [43.94511888670419]
本稿では,学習した埋め込みモデルの知識を他へ伝達する,新しい埋め込み変換手法を提案する。
本手法は,ソース埋め込み空間のサンプル間の類似性を知識として活用し,対象埋め込みモデルの学習に用いる損失を伝達する。
論文 参考訳（メタデータ） (2021-03-27T13:35:03Z) - Learning, compression, and leakage: Minimising classification error via
meta-universal compression principles [87.054014983402]
学習シナリオのための圧縮技法の有望なグループは、正規化極大(NML)符号化である。
ここでは,教師付き分類問題に対するNMLに基づく意思決定戦略を検討し,多種多様なモデルに適用した場合にPAC学習を実現することを示す。
本手法の誤分類率は,プライバシに敏感なシナリオにおいて,データ漏洩の可能性を定量化するための指標である最大リークによって上限づけられていることを示す。
論文 参考訳（メタデータ） (2020-10-14T20:03:58Z) - Towards Certified Robustness of Distance Metric Learning [53.96113074344632]
我々は,距離学習アルゴリズムの一般化とロバスト性を改善するために,入力空間に逆のマージンを付与することを提唱する。
アルゴリズム的ロバスト性の理論手法を用いることにより,拡張マージンは一般化能力に有益であることを示す。
論文 参考訳（メタデータ） (2020-06-10T16:51:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。