論文の概要: Improving Generalization of Metric Learning via Listwise Self-distillation

• arxiv url: http://arxiv.org/abs/2206.08880v1
• Date: Fri, 17 Jun 2022 16:28:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-20 13:08:58.438111
• Title: Improving Generalization of Metric Learning via Listwise Self-distillation
• Title（参考訳）: リストワイズ自己蒸留によるメトリック学習の一般化
• Authors: Zelong Zeng, Fan Yang, Zheng Wang and Shin'ichi Satoh
• Abstract要約: 我々は、単純で効果的な正則化、すなわちリスワイズ自己蒸留(LSD)を提案する。 LSDは、モデル自身の知識を徐々に蒸留し、より適切な距離ターゲットを各サンプルペアにバッチで適応的に割り当てる。 私たちのLSDは、一般的なDMLフレームワークに直接統合することができます。
• 参考スコア（独自算出の注目度）: 25.93015219830576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most deep metric learning (DML) methods employ a strategy that forces all positive samples to be close in the embedding space while keeping them away from negative ones. However, such a strategy ignores the internal relationships of positive (negative) samples and often leads to overfitting, especially in the presence of hard samples and mislabeled samples. In this work, we propose a simple yet effective regularization, namely Listwise Self-Distillation (LSD), which progressively distills a model's own knowledge to adaptively assign a more appropriate distance target to each sample pair in a batch. LSD encourages smoother embeddings and information mining within positive (negative) samples as a way to mitigate overfitting and thus improve generalization. Our LSD can be directly integrated into general DML frameworks. Extensive experiments show that LSD consistently boosts the performance of various metric learning methods on multiple datasets.
• Abstract（参考訳）: ほとんどの深層メトリック学習(dml)法は、すべての正のサンプルを負のサンプルから遠ざけながら埋め込み空間に近づけるように強制する戦略を採用している。 しかし、このような戦略は正の(負の)サンプルの内部関係を無視し、特に硬いサンプルやラベルのつかないサンプルの存在において過度に適合する。 本研究では,各試料対に対してより適切な距離目標を適応的に割り当てるために,モデルの知識を段階的に蒸留するlistwise self-distillation(lsd)という,単純かつ効果的な正則化を提案する。 LSDは、過剰適合を緩和し、一般化を改善する方法として、正(負)サンプルへのよりスムーズな埋め込みと情報マイニングを促進する。 私たちのLSDは、一般的なDMLフレームワークに直接統合することができます。 大規模な実験により、LSDは複数のデータセット上で様々なメトリック学習手法の性能を一貫して向上させることが示された。

関連論文リスト

• Not All Samples Should Be Utilized Equally: Towards Understanding and Improving Dataset Distillation [57.6797306341115]
  我々は,サンプル難易度の観点から,マッチングに基づくDD手法の理解に向けて最初の一歩を踏み出した。 次に、データプルーニングのニューラルネットワークスケーリング法則をDDに拡張し、これらのマッチングベースの手法を理論的に説明する。 SDC(Sampple Difficulty Correction)アプローチを導入し、より簡単なサンプルを生成して、より高いデータセット品質を実現する。
  論文  参考訳（メタデータ） (2024-08-22T15:20:32Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data [102.16105233826917]
  好みラベルからの学習は、微調整された大きな言語モデルにおいて重要な役割を果たす。 好みの微調整には、教師付き学習、オンライン強化学習(RL)、コントラスト学習など、いくつかの異なるアプローチがある。
  論文  参考訳（メタデータ） (2024-04-22T17:20:18Z)
• Data Pruning via Moving-one-Sample-out [61.45441981346064]
  我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。 MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。 実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
  論文  参考訳（メタデータ） (2023-10-23T08:00:03Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Self-distillation with Online Diffusion on Batch Manifolds Improves Deep Metric Learning [23.974500845619175]
  DMLのためのオンラインバッチ拡散に基づく自己蒸留(OBD-SD)を提案する。 まず, モデル自体から知識を段階的に蒸留する, 単純だが効果的なプログレッシブ自己蒸留法を提案する。 次に, PSD を Online Batch Diffusion Process (OBDP) で拡張し, 各バッチにおける多様体の局所的幾何学的構造を捉える。
  論文  参考訳（メタデータ） (2022-11-14T17:38:07Z)
• ReSmooth: Detecting and Utilizing OOD Samples when Training with Data Augmentation [57.38418881020046]
  最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。 多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。 ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
  論文  参考訳（メタデータ） (2022-05-25T09:29:27Z)
• Characterizing Generalization under Out-Of-Distribution Shifts in Deep Metric Learning [32.51394862932118]
  本稿では,DMLにおける分布外シフトの下での一般化を特徴付けるために,ooDMLベンチマークを提案する。 ooDMLは、より困難で多様な列車間分散シフトにおいて、一般化性能を調査するために設計されている。 一般化は難易度に常に低下する傾向にあるが, 分散シフトが増加するにつれて, 性能が向上する手法もある。
  論文  参考訳（メタデータ） (2021-07-20T15:26:09Z)
• Exploring Adversarial Robustness of Deep Metric Learning [25.12224002984514]
  DMLはディープニューラルネットワークアーキテクチャを使用して、入力のセマンティック埋め込みを学習する。 私たちは、ミニバッチのサンプルに依存しているメトリック損失の主な課題に取り組みます。 3つの一般的なDMLデータセットの実験を使用して、逆転精度の5-76倍の増加を実証する。
  論文  参考訳（メタデータ） (2021-02-14T23:18:12Z)
• Revisiting Training Strategies and Generalization Performance in Deep Metric Learning [28.54755295856929]
  我々は、最も広く使われているDML目的関数を再検討し、重要なパラメータ選択について検討する。 一貫した比較では、DMLの目的は文学で示されるよりもはるかに高い飽和を示す。 これらの知見を公開し、ランキングベースのDMLモデルの性能を確実に向上させるために、単純かつ効果的に正規化を訓練することを提案する。
  論文  参考訳（メタデータ） (2020-02-19T22:16:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。