論文の概要: Towards Bridging the Performance Gaps of Joint Energy-based Models
- arxiv url: http://arxiv.org/abs/2209.07959v1
- Date: Fri, 16 Sep 2022 14:19:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-19 12:49:31.599006
- Title: Towards Bridging the Performance Gaps of Joint Energy-based Models
- Title(参考訳): 共同エネルギーモデルの性能ギャップの橋渡しに向けて
- Authors: Xiulong Yang, Qing Su, Shihao Ji
- Abstract要約: 共同エネルギーベースモデル(JEM)は高い分類精度と画像生成品質を同時に達成する。
本稿では,JEMの精度ギャップと生成品質ギャップを橋渡しする様々なトレーニング手法を紹介する。
我々のSADA-JEMは、画像分類、画像生成、キャリブレーション、アウト・オブ・ディストリビューション検出、対向ロバストネスにおいて、最先端のパフォーマンスを達成し、JEMより優れています。
- 参考スコア(独自算出の注目度): 1.933681537640272
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can we train a hybrid discriminative-generative model within a single
network? This question has recently been answered in the affirmative,
introducing the field of Joint Energy-based Model (JEM), which achieves high
classification accuracy and image generation quality simultaneously. Despite
recent advances, there remain two performance gaps: the accuracy gap to the
standard softmax classifier, and the generation quality gap to state-of-the-art
generative models. In this paper, we introduce a variety of training techniques
to bridge the accuracy gap and the generation quality gap of JEM. 1) We
incorporate a recently proposed sharpness-aware minimization (SAM) framework to
train JEM, which promotes the energy landscape smoothness and the
generalizability of JEM. 2) We exclude data augmentation from the maximum
likelihood estimate pipeline of JEM, and mitigate the negative impact of data
augmentation to image generation quality. Extensive experiments on multiple
datasets demonstrate that our SADA-JEM achieves state-of-the-art performances
and outperforms JEM in image classification, image generation, calibration,
out-of-distribution detection and adversarial robustness by a notable margin.
- Abstract(参考訳): 単一ネットワーク内でハイブリッド判別生成モデルをトレーニングできるだろうか?
この質問は、最近、高い分類精度と画像生成品質を同時に達成するJEM(Joint Energy-based Model)の分野を導入して、肯定的な回答を得た。
最近の進歩にもかかわらず、標準的なソフトマックス分類器の精度ギャップと、最先端生成モデルに対する生成品質ギャップの2つのパフォーマンスギャップが残っている。
本稿では,JEMの精度ギャップと生成品質ギャップを橋渡しする各種トレーニング手法を提案する。
1) 最近提案されたシャープネス認識最小化(SAM)フレームワークを組み込んでJEMを訓練し,JEMのスムーズさと一般化性を促進する。
2) JEMの最大推定パイプラインからデータ拡張を除外し,画像生成品質に対するデータ拡張の負の影響を軽減する。
SADA-JEMは, 画像分類, 画像生成, キャリブレーション, アウト・オブ・ディストリビューション検出, 対向ロバストネスにおいて, 最先端の性能を達成し, JEMより優れていることを示す。
関連論文リスト
- Active Generation for Image Classification [50.18107721267218]
本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。
能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
論文 参考訳(メタデータ) (2024-03-11T08:45:31Z) - Class-Prototype Conditional Diffusion Model for Continual Learning with
Generative Replay [22.93569826848756]
破滅的な忘れ方を減らすことは、継続的な学習における重要なハードルである。
Deep Generative Replay (GR)は、モデルのメモリ能力を向上するために、以前のタスクからサンプルを生成する技術を提供する。
大きな問題は、生成したデータの品質がオリジナルのものと比べて低下することである。
CPDM(Class-Prototype Conditional Diffusion Model)を提案する。
論文 参考訳(メタデータ) (2023-12-10T17:39:42Z) - Energy-Calibrated VAE with Test Time Free Lunch [11.477659210519278]
可変オートエンコーダ(VAE)の強化のための条件付きエネルギーベースモデル(EBM)を提案する。
VAEは、生成方向に生成されたサンプルの調整されたトレーニングが欠如しているため、しばしばぼやけた生成サンプルに悩まされる。
我々は,EC-VAEの校正アイデアを変分学習と正規化フローに拡張し,ニューラルトランスポートとレンジヌル理論によるゼロショット画像復元にEC-VAEを適用した。
論文 参考訳(メタデータ) (2023-11-07T15:35:56Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery
Likelihood [70.96045509920326]
高次元データに対する最大推定値のトレーニングエネルギーベースモデル(EBMs)は、困難かつ時間を要する可能性がある。
本研究では,データセットの雑音の増大する頂点上で定義された一連のEMMから,協調拡散回復確率(CDRL)を抽出し,抽出する手法を提案する。
CIFAR-10 と ImageNet 32x32 の既存 EBM 法と比較して FID のスコアが大幅に向上し,DRL を2倍高速化した。
論文 参考訳(メタデータ) (2023-09-10T22:05:24Z) - Nonparametric Generative Modeling with Conditional Sliced-Wasserstein
Flows [101.31862036510701]
SWF(Sliced-Wasserstein Flow)は、非パラメトリックな生成モデルに対する有望なアプローチであるが、その最適な生成品質と条件付きモデリング能力の欠如により広く採用されていない。
本研究では,SWF の簡易かつ効果的な拡張である条件付きスライス・ワッサースタインフロー (CSWF) を提案する。
論文 参考訳(メタデータ) (2023-05-03T14:55:43Z) - JNDMix: JND-Based Data Augmentation for No-reference Image Quality
Assessment [5.0789200970424035]
NR-IQAタスクに対するジャストインタブル差分(JND)ノイズミキシングに基づく有効で汎用的なデータ拡張を提案する。
そこで本研究では,人間の視覚システム(HVS)に非受容なJNDノイズを,ラベルの調整なしにトレーニング画像にランダムに注入する。
JNDMixは様々な最先端NR-IQAモデルの性能とデータ効率を大幅に改善することを示した。
論文 参考訳(メタデータ) (2023-02-20T08:55:00Z) - Auto-regressive Image Synthesis with Integrated Quantization [55.51231796778219]
本稿では,条件付き画像生成のための多目的フレームワークを提案する。
CNNの帰納バイアスと自己回帰の強力なシーケンスモデリングが組み込まれている。
提案手法は,最先端技術と比較して,優れた多彩な画像生成性能を実現する。
論文 参考訳(メタデータ) (2022-07-21T22:19:17Z) - Controllable and Compositional Generation with Latent-Space Energy-Based
Models [60.87740144816278]
制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。
本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。
エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
論文 参考訳(メタデータ) (2021-10-21T03:31:45Z) - Generative Max-Mahalanobis Classifiers for Image Classification,
Generation and More [6.89001867562902]
Max-Mahalanobis (MMC) は、画像分類と生成のために、識別、生成、共同で訓練することができる。
ジェネラティブMCC(Generative MMC)は、画像分類と生成のために、識別的、生成的、または共同でトレーニングできることを示します。
論文 参考訳(メタデータ) (2021-01-01T00:42:04Z) - Unpaired Image Enhancement with Quality-Attention Generative Adversarial
Network [92.01145655155374]
品質の注意を払わないデータに基づいて訓練された生成敵対ネットワーク(QAGAN)を提案する。
提案されたQAGANの重要な新規性は、ジェネレータの注入されたQAMにある。
提案手法は客観的評価と主観評価の両方において良好な性能を実現する。
論文 参考訳(メタデータ) (2020-12-30T05:57:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。