論文の概要: Self-distillation with Online Diffusion on Batch Manifolds Improves Deep Metric Learning

• arxiv url: http://arxiv.org/abs/2211.07566v1
• Date: Mon, 14 Nov 2022 17:38:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 18:52:19.047221
• Title: Self-distillation with Online Diffusion on Batch Manifolds Improves Deep Metric Learning
• Title（参考訳）: バッチマニフォールド上でのオンライン拡散による自己蒸留による深層学習の改善
• Authors: Zelong Zeng, Fan Yang, Hong Liu and Shin'ichi Satoh
• Abstract要約: DMLのためのオンラインバッチ拡散に基づく自己蒸留(OBD-SD)を提案する。 まず, モデル自体から知識を段階的に蒸留する, 単純だが効果的なプログレッシブ自己蒸留法を提案する。 次に, PSD を Online Batch Diffusion Process (OBDP) で拡張し, 各バッチにおける多様体の局所的幾何学的構造を捉える。
• 参考スコア（独自算出の注目度）: 23.974500845619175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent deep metric learning (DML) methods typically leverage solely class labels to keep positive samples far away from negative ones. However, this type of method normally ignores the crucial knowledge hidden in the data (e.g., intra-class information variation), which is harmful to the generalization of the trained model. To alleviate this problem, in this paper we propose Online Batch Diffusion-based Self-Distillation (OBD-SD) for DML. Specifically, we first propose a simple but effective Progressive Self-Distillation (PSD), which distills the knowledge progressively from the model itself during training. The soft distance targets achieved by PSD can present richer relational information among samples, which is beneficial for the diversity of embedding representations. Then, we extend PSD with an Online Batch Diffusion Process (OBDP), which is to capture the local geometric structure of manifolds in each batch, so that it can reveal the intrinsic relationships among samples in the batch and produce better soft distance targets. Note that our OBDP is able to restore the insufficient manifold relationships obtained by the original PSD and achieve significant performance improvement. Our OBD-SD is a flexible framework that can be integrated into state-of-the-art (SOTA) DML methods. Extensive experiments on various benchmarks, namely CUB200, CARS196, and Stanford Online Products, demonstrate that our OBD-SD consistently improves the performance of the existing DML methods on multiple datasets with negligible additional training time, achieving very competitive results. Code: \url{https://github.com/ZelongZeng/OBD-SD_Pytorch}
• Abstract（参考訳）: 最近のdml(deep metric learning)メソッドは通常、ポジティブなサンプルを負のラベルから遠ざけるためにのみクラスラベルを利用する。 しかし、この種の手法は通常、訓練されたモデルの一般化に有害なデータ(例えば、クラス内情報変動)に隠された重要な知識を無視している。 本稿では,dmlのためのオンラインバッチ拡散式自己蒸留(obd-sd)を提案する。 具体的には、まず、訓練中にモデル自体から徐々に知識を蒸留する単純で効果的なプログレッシブ自己蒸留(PSD)を提案する。 PSDによって達成されるソフト距離ターゲットは、よりリッチな関係情報をサンプル間で提示することができる。 次に, PSD を Online Batch Diffusion Process (OBDP) で拡張することにより, 各バッチ内の多様体の局所的幾何学的構造を把握し, バッチ内のサンプル間の固有関係を明らかにするとともに, ソフト距離目標の精度を向上させる。 OBDPは元のPSDで得られた不十分な多様体関係を復元することができ、大幅な性能向上を実現している。 私たちのOBD-SDは、最先端(SOTA)DMLメソッドに統合可能な柔軟なフレームワークです。 CUB200、CARS196、Stanford Online Productsといった様々なベンチマークに関する大規模な実験は、OBD-SDが複数のデータセット上の既存のDMLメソッドのパフォーマンスを、無視できない追加トレーニング時間で一貫して改善し、非常に競争力のある結果を得ることを示した。 コード: \url{https://github.com/ZelongZeng/OBD-SD_Pytorch}

関連論文リスト

• A Bayesian Approach to Data Point Selection [24.98069363998565]
  データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。 既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。 DPSに対する新しいベイズ的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:04:13Z)
• DANCE: Dual-View Distribution Alignment for Dataset Condensation [39.08022095906364]
  我々は、データセットのコンディエンテーション(DANCE)のためのDMベースの新しいDual-view Distribution AligNmentを提案する。 具体的には、内部クラスの観点から複数の「中間エンコーダ」を構築し、擬似的な長期分布アライメントを行う。 クラス間の観点からは,分布キャリブレーションを行うために専門家モデルを用いる。
  論文  参考訳（メタデータ） (2024-06-03T07:22:17Z)
• Bayesian Diffusion Models for 3D Shape Reconstruction [54.69889488052155]
  本稿では,トップダウン(優先)情報をボトムアップ(データ駆動)手順と密結合することにより,効果的なベイズ推定を行う予測アルゴリズムを提案する。 3次元形状復元作業におけるBDMの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-11T17:55:53Z)
• Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
  大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。 これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。 モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:56Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• A Penalty Approach for Normalizing Feature Distributions to Build Confounder-Free Models [11.818509522227565]
  MetaData Normalization (MDN) は、学習不能なクローズドフォームソリューションに基づいてメタデータと各特徴の線形関係を推定する。 罰則法(PDMN)を適用してMDN法を拡張した。 MDNによるモデル精度の向上とMDN上のMDNを用いた共同設立者からの独立性の向上を示す。
  論文  参考訳（メタデータ） (2022-07-11T04:02:12Z)
• A Comparative Survey of Deep Active Learning [76.04825433362709]
  Active Learning (AL)は、ラベル付けのための大きなラベル付けされていないデータプールからデータサンプルを順次選択することで、ラベル付けコストを削減するための一連のテクニックである。 ディープラーニング(DL)はデータハングリーであり、DLモデルのパフォーマンスは、より多くのトレーニングデータとともに単調にスケールする。 近年、Deep Active Learning (DAL) は、高価なラベリングコストを最小化しつつ、モデル性能を最大化するための実現可能なソリューションとして上昇している。
  論文  参考訳（メタデータ） (2022-03-25T05:17:24Z)
• Bilevel Online Deep Learning in Non-stationary Environment [4.565872584112864]
  Bilevel Online Deep Learning (BODL)フレームワークは、双方向最適化戦略とオンラインアンサンブル分類器を組み合わせたフレームワークである。 概念ドリフトが検出されると、BODLアルゴリズムはバイレベル最適化によりモデルパラメータを適応的に更新し、大きなドリフトを回避し、正の転送を促進する。
  論文  参考訳（メタデータ） (2022-01-25T11:05:51Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Revisiting Training Strategies and Generalization Performance in Deep Metric Learning [28.54755295856929]
  我々は、最も広く使われているDML目的関数を再検討し、重要なパラメータ選択について検討する。 一貫した比較では、DMLの目的は文学で示されるよりもはるかに高い飽和を示す。 これらの知見を公開し、ランキングベースのDMLモデルの性能を確実に向上させるために、単純かつ効果的に正規化を訓練することを提案する。
  論文  参考訳（メタデータ） (2020-02-19T22:16:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。