論文の概要: Improving Generalization of Metric Learning via Listwise
Self-distillation
- arxiv url: http://arxiv.org/abs/2206.08880v1
- Date: Fri, 17 Jun 2022 16:28:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-20 13:08:58.438111
- Title: Improving Generalization of Metric Learning via Listwise
Self-distillation
- Title(参考訳): リストワイズ自己蒸留によるメトリック学習の一般化
- Authors: Zelong Zeng, Fan Yang, Zheng Wang and Shin'ichi Satoh
- Abstract要約: 我々は、単純で効果的な正則化、すなわちリスワイズ自己蒸留(LSD)を提案する。
LSDは、モデル自身の知識を徐々に蒸留し、より適切な距離ターゲットを各サンプルペアにバッチで適応的に割り当てる。
私たちのLSDは、一般的なDMLフレームワークに直接統合することができます。
- 参考スコア(独自算出の注目度): 25.93015219830576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most deep metric learning (DML) methods employ a strategy that forces all
positive samples to be close in the embedding space while keeping them away
from negative ones. However, such a strategy ignores the internal relationships
of positive (negative) samples and often leads to overfitting, especially in
the presence of hard samples and mislabeled samples. In this work, we propose a
simple yet effective regularization, namely Listwise Self-Distillation (LSD),
which progressively distills a model's own knowledge to adaptively assign a
more appropriate distance target to each sample pair in a batch. LSD encourages
smoother embeddings and information mining within positive (negative) samples
as a way to mitigate overfitting and thus improve generalization. Our LSD can
be directly integrated into general DML frameworks. Extensive experiments show
that LSD consistently boosts the performance of various metric learning methods
on multiple datasets.
- Abstract(参考訳): ほとんどの深層メトリック学習(dml)法は、すべての正のサンプルを負のサンプルから遠ざけながら埋め込み空間に近づけるように強制する戦略を採用している。
しかし、このような戦略は正の(負の)サンプルの内部関係を無視し、特に硬いサンプルやラベルのつかないサンプルの存在において過度に適合する。
本研究では,各試料対に対してより適切な距離目標を適応的に割り当てるために,モデルの知識を段階的に蒸留するlistwise self-distillation(lsd)という,単純かつ効果的な正則化を提案する。
LSDは、過剰適合を緩和し、一般化を改善する方法として、正(負)サンプルへのよりスムーズな埋め込みと情報マイニングを促進する。
私たちのLSDは、一般的なDMLフレームワークに直接統合することができます。
大規模な実験により、LSDは複数のデータセット上で様々なメトリック学習手法の性能を一貫して向上させることが示された。
関連論文リスト
- Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳(メタデータ) (2024-02-22T04:10:57Z) - Data Pruning via Moving-one-Sample-out [61.45441981346064]
我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。
MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。
実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
論文 参考訳(メタデータ) (2023-10-23T08:00:03Z) - Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。
誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。
ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-26T12:43:25Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T14:49:59Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%~6%向上させる。
論文 参考訳(メタデータ) (2022-11-29T14:52:38Z) - Self-distillation with Online Diffusion on Batch Manifolds Improves Deep
Metric Learning [23.974500845619175]
DMLのためのオンラインバッチ拡散に基づく自己蒸留(OBD-SD)を提案する。
まず, モデル自体から知識を段階的に蒸留する, 単純だが効果的なプログレッシブ自己蒸留法を提案する。
次に, PSD を Online Batch Diffusion Process (OBDP) で拡張し, 各バッチにおける多様体の局所的幾何学的構造を捉える。
論文 参考訳(メタデータ) (2022-11-14T17:38:07Z) - ReSmooth: Detecting and Utilizing OOD Samples when Training with Data
Augmentation [57.38418881020046]
最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。
多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。
ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
論文 参考訳(メタデータ) (2022-05-25T09:29:27Z) - Characterizing Generalization under Out-Of-Distribution Shifts in Deep
Metric Learning [32.51394862932118]
本稿では,DMLにおける分布外シフトの下での一般化を特徴付けるために,ooDMLベンチマークを提案する。
ooDMLは、より困難で多様な列車間分散シフトにおいて、一般化性能を調査するために設計されている。
一般化は難易度に常に低下する傾向にあるが, 分散シフトが増加するにつれて, 性能が向上する手法もある。
論文 参考訳(メタデータ) (2021-07-20T15:26:09Z) - Exploring Adversarial Robustness of Deep Metric Learning [25.12224002984514]
DMLはディープニューラルネットワークアーキテクチャを使用して、入力のセマンティック埋め込みを学習する。
私たちは、ミニバッチのサンプルに依存しているメトリック損失の主な課題に取り組みます。
3つの一般的なDMLデータセットの実験を使用して、逆転精度の5-76倍の増加を実証する。
論文 参考訳(メタデータ) (2021-02-14T23:18:12Z) - Revisiting Training Strategies and Generalization Performance in Deep
Metric Learning [28.54755295856929]
我々は、最も広く使われているDML目的関数を再検討し、重要なパラメータ選択について検討する。
一貫した比較では、DMLの目的は文学で示されるよりもはるかに高い飽和を示す。
これらの知見を公開し、ランキングベースのDMLモデルの性能を確実に向上させるために、単純かつ効果的に正規化を訓練することを提案する。
論文 参考訳(メタデータ) (2020-02-19T22:16:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。