論文の概要: Decoupled Kullback-Leibler Divergence Loss
- arxiv url: http://arxiv.org/abs/2305.13948v1
- Date: Tue, 23 May 2023 11:17:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 17:01:04.592977
- Title: Decoupled Kullback-Leibler Divergence Loss
- Title(参考訳): Kullback-Leiblerの分散損失の分離
- Authors: Jiequan Cui, Zhuotao Tian, Zhisheng Zhong, Xiaojuan Qi, Bei Yu,
Hanwang Zhang
- Abstract要約: Kullback-Leibler (KL) 分割損失は、DKL (Dupled Kullback-Leibler) 分割損失と同値である。
クラス内整合性正規化のためのグローバル情報をDKLに導入する。
提案手法は両タスクの最先端性能を実現し,実用的メリットを実証する。
- 参考スコア(独自算出の注目度): 75.31157286595517
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this paper, we delve deeper into the Kullback-Leibler (KL) Divergence loss
and observe that it is equivalent to the Doupled Kullback-Leibler (DKL)
Divergence loss that consists of 1) a weighted Mean Square Error (wMSE) loss
and 2) a Cross-Entropy loss incorporating soft labels. From our analysis of the
DKL loss, we have identified two areas for improvement. Firstly, we address the
limitation of DKL in scenarios like knowledge distillation by breaking its
asymmetry property in training optimization. This modification ensures that the
wMSE component is always effective during training, providing extra
constructive cues. Secondly, we introduce global information into DKL for
intra-class consistency regularization. With these two enhancements, we derive
the Improved Kullback-Leibler (IKL) Divergence loss and evaluate its
effectiveness by conducting experiments on CIFAR-10/100 and ImageNet datasets,
focusing on adversarial training and knowledge distillation tasks. The proposed
approach achieves new state-of-the-art performance on both tasks, demonstrating
the substantial practical merits. Code and models will be available soon at
https://github.com/jiequancui/DKL.
- Abstract(参考訳): 本稿では,クルバック・リブラー (KL) の分岐損失を深く掘り下げ,DKL (Douled Kullback-Leibler) の分岐損失と等価であることを示す。
1)重み付き平均正方形誤差(wMSE)と損失
2)ソフトラベルを組み込んだクロスエントロピー損失。
DKL損失の分析から,改善すべき2つの領域を特定した。
まず, 学習最適化における非対称性を損なうことにより, 知識蒸留などのシナリオにおけるdklの限界に対処した。
この修正は、wMSEコンポーネントがトレーニング中に常に有効であることを保証する。
次に,クラス内整合性正規化のためのグローバル情報をDKLに導入する。
これらの2つの拡張により、改良されたクルバック・リーブラー(IKL)の分散損失を導出し、CIFAR-10/100およびImageNetデータセットの実験を行い、敵の訓練と知識蒸留タスクに焦点を当ててその効果を評価する。
提案手法は両タスクの最先端性能を実現し,実用的メリットを実証する。
コードとモデルは近々https://github.com/jiequancui/DKL.comで公開される。
関連論文リスト
- Mitigating Privacy Risk in Membership Inference by Convex-Concave Loss [17.594402018768882]
機械学習モデルは、トレーニングセットにサンプルがあるかどうかを推測することを目的とした、メンバシップ推論攻撃(MIA)の影響を受けやすい。
既存の作業では、勾配上昇を利用してトレーニングデータの損失分散を拡大し、プライバシリスクを軽減する。
本稿では,勾配降下によるトレーニング損失分布の分散化を可能にする新しい手法であるConvex-Concave Lossを提案する。
論文 参考訳(メタデータ) (2024-02-08T07:14:17Z) - Relaxed Contrastive Learning for Federated Learning [53.48804883845343]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Class Incremental Learning for Adversarial Robustness [17.06592851567578]
アドリラルトレーニングは、モデルトレーニング中の敵の例を統合して、堅牢性を高める。
直感的な対人訓練と漸進的な学習を組み合わせることで、頑健さが失われることが容易に分かる。
本稿では, 対向型とクリーン型との出力差を生かしたFPD損失を提案する。
論文 参考訳(メタデータ) (2023-12-06T04:38:02Z) - 2D Feature Distillation for Weakly- and Semi-Supervised 3D Semantic
Segmentation [92.17700318483745]
合成訓練された2Dセマンティックセマンティックセグメンテーションネットワークから高レベル特徴情報を蒸留するアイデアに基づく画像誘導ネットワーク(IGNet)を提案する。
IGNetは、ScribbleKITTI上の弱い教師付きLiDARセマンティックセマンティックセグメンテーションの最先端の結果を達成し、8%のラベル付きポイントしか持たない完全な教師付きトレーニングに対して最大98%のパフォーマンスを誇っている。
論文 参考訳(メタデータ) (2023-11-27T07:57:29Z) - Understanding the Overfitting of the Episodic Meta-training [21.127324454759744]
本研究では,教員モデルから新たな一般化知識を維持するために,知識蒸留技術を導入する。
具体的には,メタトレーニングにおいて,教師モデルを最高の検証精度を持つモデルとして選択する。
本稿では,メタトレーニングのためのNearest Neighbor Symmetric Kullback-Leibler(NNSKL)のばらつきを提案し,知識蒸留技術の限界を推し進める。
論文 参考訳(メタデータ) (2023-06-29T11:55:37Z) - Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。
蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。
特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文 参考訳(メタデータ) (2023-03-30T03:22:52Z) - The KFIoU Loss for Rotated Object Detection [115.334070064346]
本稿では,SkewIoU損失とトレンドレベルアライメントを両立できる近似的損失を考案する上で,有効な方法の1つとして論じる。
具体的には、対象をガウス分布としてモデル化し、SkewIoUのメカニズムを本質的に模倣するためにカルマンフィルタを採用する。
KFIoUと呼ばれる新たな損失は実装が容易で、正確なSkewIoUよりもうまく動作する。
論文 参考訳(メタデータ) (2022-01-29T10:54:57Z) - Comparing Kullback-Leibler Divergence and Mean Squared Error Loss in
Knowledge Distillation [9.157410884444312]
知識蒸留(KD)は,効率的なニューラルアーキテクチャを設計するために研究されている。
KL分散損失は,タウ増加時のロジットマッチングと,タウが0。
特にKL分散損失を小さいタウで用いた場合, ラベルノイズが軽減される。
論文 参考訳(メタデータ) (2021-05-19T04:40:53Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳(メタデータ) (2021-05-16T09:13:56Z) - Balancing reconstruction error and Kullback-Leibler divergence in
Variational Autoencoders [0.0]
学習は単純な決定論的計算に置き換えられ、基礎となるメカニズムを理解するのに役立ちます。
CifarやCelebaのような典型的なデータセットでは、我々の手法は以前のVAEアーキテクチャよりも優れている。
論文 参考訳(メタデータ) (2020-02-18T12:22:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。