論文の概要: Self-distillation with Online Diffusion on Batch Manifolds Improves Deep
Metric Learning
- arxiv url: http://arxiv.org/abs/2211.07566v1
- Date: Mon, 14 Nov 2022 17:38:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 18:52:19.047221
- Title: Self-distillation with Online Diffusion on Batch Manifolds Improves Deep
Metric Learning
- Title(参考訳): バッチマニフォールド上でのオンライン拡散による自己蒸留による深層学習の改善
- Authors: Zelong Zeng, Fan Yang, Hong Liu and Shin'ichi Satoh
- Abstract要約: DMLのためのオンラインバッチ拡散に基づく自己蒸留(OBD-SD)を提案する。
まず, モデル自体から知識を段階的に蒸留する, 単純だが効果的なプログレッシブ自己蒸留法を提案する。
次に, PSD を Online Batch Diffusion Process (OBDP) で拡張し, 各バッチにおける多様体の局所的幾何学的構造を捉える。
- 参考スコア(独自算出の注目度): 23.974500845619175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent deep metric learning (DML) methods typically leverage solely class
labels to keep positive samples far away from negative ones. However, this type
of method normally ignores the crucial knowledge hidden in the data (e.g.,
intra-class information variation), which is harmful to the generalization of
the trained model. To alleviate this problem, in this paper we propose Online
Batch Diffusion-based Self-Distillation (OBD-SD) for DML. Specifically, we
first propose a simple but effective Progressive Self-Distillation (PSD), which
distills the knowledge progressively from the model itself during training. The
soft distance targets achieved by PSD can present richer relational information
among samples, which is beneficial for the diversity of embedding
representations. Then, we extend PSD with an Online Batch Diffusion Process
(OBDP), which is to capture the local geometric structure of manifolds in each
batch, so that it can reveal the intrinsic relationships among samples in the
batch and produce better soft distance targets. Note that our OBDP is able to
restore the insufficient manifold relationships obtained by the original PSD
and achieve significant performance improvement. Our OBD-SD is a flexible
framework that can be integrated into state-of-the-art (SOTA) DML methods.
Extensive experiments on various benchmarks, namely CUB200, CARS196, and
Stanford Online Products, demonstrate that our OBD-SD consistently improves the
performance of the existing DML methods on multiple datasets with negligible
additional training time, achieving very competitive results. Code:
\url{https://github.com/ZelongZeng/OBD-SD_Pytorch}
- Abstract(参考訳): 最近のdml(deep metric learning)メソッドは通常、ポジティブなサンプルを負のラベルから遠ざけるためにのみクラスラベルを利用する。
しかし、この種の手法は通常、訓練されたモデルの一般化に有害なデータ(例えば、クラス内情報変動)に隠された重要な知識を無視している。
本稿では,dmlのためのオンラインバッチ拡散式自己蒸留(obd-sd)を提案する。
具体的には、まず、訓練中にモデル自体から徐々に知識を蒸留する単純で効果的なプログレッシブ自己蒸留(PSD)を提案する。
PSDによって達成されるソフト距離ターゲットは、よりリッチな関係情報をサンプル間で提示することができる。
次に, PSD を Online Batch Diffusion Process (OBDP) で拡張することにより, 各バッチ内の多様体の局所的幾何学的構造を把握し, バッチ内のサンプル間の固有関係を明らかにするとともに, ソフト距離目標の精度を向上させる。
OBDPは元のPSDで得られた不十分な多様体関係を復元することができ、大幅な性能向上を実現している。
私たちのOBD-SDは、最先端(SOTA)DMLメソッドに統合可能な柔軟なフレームワークです。
CUB200、CARS196、Stanford Online Productsといった様々なベンチマークに関する大規模な実験は、OBD-SDが複数のデータセット上の既存のDMLメソッドのパフォーマンスを、無視できない追加トレーニング時間で一貫して改善し、非常に競争力のある結果を得ることを示した。
コード: \url{https://github.com/ZelongZeng/OBD-SD_Pytorch}
関連論文リスト
- Bayesian Diffusion Models for 3D Shape Reconstruction [57.44181038281908]
本稿では,トップダウン(優先)情報をボトムアップ(データ駆動)手順と密結合することにより,効果的なベイズ推定を行う予測アルゴリズムを提案する。
3次元形状復元作業におけるBDMの有効性を示す。
論文 参考訳(メタデータ) (2024-03-11T17:55:53Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data
Selection for Instruction Tuning [54.222609226692015]
我々は大規模言語モデルのための自己誘導手法を導入し、大規模なオープンソースデータセットからサクラサンプルを自律的に識別し、選択する。
私たちの重要なイノベーションであるIFD(Instruction-Following Difficulty)メトリックは、モデルが期待する応答と自動生成技術との間の相違を識別するための重要なツールとして現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-08T20:30:55Z) - Diff-Instruct: A Universal Approach for Transferring Knowledge From
Pre-trained Diffusion Models [77.83923746319498]
本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。
Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。
GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
論文 参考訳(メタデータ) (2023-05-29T04:22:57Z) - Advancing Deep Metric Learning Through Multiple Batch Norms And
Multi-Targeted Adversarial Examples [6.656366181951116]
本稿では,DMLモデルの性能をクリーンなデータと複数の分布に追従する入力に対して同時に向上させるフレームワークMDPropを提案する。
総合的な実験分析から,MDPropはクリーンデータ2.95%,リコール@1スコア2.12倍,異なる入力分布に対するロバスト性を示した。
論文 参考訳(メタデータ) (2022-11-29T14:41:58Z) - DAS: Densely-Anchored Sampling for Deep Metric Learning [43.81322638018864]
本研究では, アンカー近傍の埋め込み空間を利用してデータポイントのない埋め込みを密に生成するDensely-Anchored Smpling (DAS) 方式を提案する。
提案手法は既存のDMLフレームワークに統合され,ベルやホイッスルを使わずに改善されている。
論文 参考訳(メタデータ) (2022-07-30T02:07:46Z) - A Penalty Approach for Normalizing Feature Distributions to Build
Confounder-Free Models [11.818509522227565]
MetaData Normalization (MDN) は、学習不能なクローズドフォームソリューションに基づいてメタデータと各特徴の線形関係を推定する。
罰則法(PDMN)を適用してMDN法を拡張した。
MDNによるモデル精度の向上とMDN上のMDNを用いた共同設立者からの独立性の向上を示す。
論文 参考訳(メタデータ) (2022-07-11T04:02:12Z) - A Comparative Survey of Deep Active Learning [76.04825433362709]
Active Learning (AL)は、ラベル付けのための大きなラベル付けされていないデータプールからデータサンプルを順次選択することで、ラベル付けコストを削減するための一連のテクニックである。
ディープラーニング(DL)はデータハングリーであり、DLモデルのパフォーマンスは、より多くのトレーニングデータとともに単調にスケールする。
近年、Deep Active Learning (DAL) は、高価なラベリングコストを最小化しつつ、モデル性能を最大化するための実現可能なソリューションとして上昇している。
論文 参考訳(メタデータ) (2022-03-25T05:17:24Z) - Bilevel Online Deep Learning in Non-stationary Environment [4.565872584112864]
Bilevel Online Deep Learning (BODL)フレームワークは、双方向最適化戦略とオンラインアンサンブル分類器を組み合わせたフレームワークである。
概念ドリフトが検出されると、BODLアルゴリズムはバイレベル最適化によりモデルパラメータを適応的に更新し、大きなドリフトを回避し、正の転送を促進する。
論文 参考訳(メタデータ) (2022-01-25T11:05:51Z) - Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。
本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。
ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文 参考訳(メタデータ) (2020-12-13T03:41:52Z) - Revisiting Training Strategies and Generalization Performance in Deep
Metric Learning [28.54755295856929]
我々は、最も広く使われているDML目的関数を再検討し、重要なパラメータ選択について検討する。
一貫した比較では、DMLの目的は文学で示されるよりもはるかに高い飽和を示す。
これらの知見を公開し、ランキングベースのDMLモデルの性能を確実に向上させるために、単純かつ効果的に正規化を訓練することを提案する。
論文 参考訳(メタデータ) (2020-02-19T22:16:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。