論文の概要: Understanding Adversarial Training with Energy-based Models

• arxiv url: http://arxiv.org/abs/2505.22486v1
• Date: Wed, 28 May 2025 15:36:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.69875
• Title: Understanding Adversarial Training with Energy-based Models
• Title（参考訳）: エネルギーモデルを用いた対人訓練の理解
• Authors: Mujtaba Hussain Mirza, Maria Rosaria Briglia, Filippo Bartolucci, Senad Beadini, Giuseppe Lisanti, Iacopo Masi,
• Abstract要約: 我々は,エネルギーベースモデル(EBM)フレームワークを用いて,分類器の対人訓練(AT)をよりよく理解することを目指している。 我々は既存のATアプローチがトレーニング中のサンプルのエネルギーに与える影響を分析する。 本稿では,訓練中のエネルギー景観を円滑にするための新しい正則化器であるデルタエネルギー正則化器(DER)を提案する。
• 参考スコア（独自算出の注目度）: 4.147437142690764
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We aim at using Energy-based Model (EBM) framework to better understand adversarial training (AT) in classifiers, and additionally to analyze the intrinsic generative capabilities of robust classifiers. By viewing standard classifiers through an energy lens, we begin by analyzing how the energies of adversarial examples, generated by various attacks, differ from those of the natural samples. The central focus of our work is to understand the critical phenomena of Catastrophic Overfitting (CO) and Robust Overfitting (RO) in AT from an energy perspective. We analyze the impact of existing AT approaches on the energy of samples during training and observe that the behavior of the ``delta energy' -- change in energy between original sample and its adversarial counterpart -- diverges significantly when CO or RO occurs. After a thorough analysis of these energy dynamics and their relationship with overfitting, we propose a novel regularizer, the Delta Energy Regularizer (DER), designed to smoothen the energy landscape during training. We demonstrate that DER is effective in mitigating both CO and RO across multiple benchmarks. We further show that robust classifiers, when being used as generative models, have limits in handling trade-off between image quality and variability. We propose an improved technique based on a local class-wise principal component analysis (PCA) and energy-based guidance for better class-specific initialization and adaptive stopping, enhancing sample diversity and generation quality. Considering that we do not explicitly train for generative modeling, we achieve a competitive Inception Score (IS) and Fr\'echet inception distance (FID) compared to hybrid discriminative-generative models.
• Abstract（参考訳）: 我々は,エネルギーベースモデル(EBM)フレームワークを用いて,分類器の敵対的訓練(AT)をよりよく理解し,また,頑健な分類器の本質的な生成能力を解析することを目的としている。 エネルギーレンズを通して標準的な分類器を見ることにより、様々な攻撃によって生じる敵の例のエネルギーが、自然試料のエネルギーとどのように異なるかを分析することから始める。 我々の研究の中心は、エネルギーの観点から、ATにおけるカタストロフィック・オーバーフィッティング(CO)とロバスト・オーバーフィッティング(RO)の臨界現象を理解することである。 我々は,既存のATアプローチがトレーニング中の試料のエネルギーに与える影響を分析し,COやROの発生時に「デルタエナジー」の挙動が原試料と敵試料のエネルギーの変化に大きく影響していることを確認する。 これらのエネルギー力学と過度適合との関係を徹底的に分析した後、訓練中のエネルギー景観を円滑にするための新しい正則化器であるデルタエネルギー正則化器(DER)を提案する。 DERはCOとROの両方を複数のベンチマークで緩和するのに有効であることを示す。 さらに、ロバストな分類器が生成モデルとして使用される場合、画像品質と可変性の間のトレードオフを扱うのに限界があることが示される。 そこで本研究では,局所クラスワイド・プリンシパル・コンポーネント分析(PCA)とエネルギーベースのガイダンスに基づいて,クラス固有初期化と適応停止の改善,サンプルの多様性の向上,生成品質の向上を実現した改良手法を提案する。 生成モデルのトレーニングを明示的に行わないことから、ハイブリッド判別生成モデルと比較して、IS(Inception Score)とFr'echet Inception distance(FID)を競合的に行うことができる。

関連論文リスト

• Shedding More Light on Robust Classifiers under the lens of Energy-based Models [3.953603590878949]
  我々は、敵対的訓練(AT)のダイナミクスについて、新しい視点を提供する。 ATにおけるエネルギー環境の分析により、標的外攻撃は、モデルの観点からの本来のデータよりも、より分散した(低エネルギー)敵画像を生成することが明らかとなった。 厳格なエビデンスを動機とした重エネルギー教育(WEAT)の提案
  論文  参考訳（メタデータ） (2024-07-08T18:31:19Z)
• Revisiting Energy Based Models as Policies: Ranking Noise Contrastive Estimation and Interpolating Energy Models [18.949193683555237]
  本研究では,エネルギーベースモデル (EBM) の選択を政策クラスとして再考する。 我々は,いくつかの重要な要素を組み合わせたエネルギーモデルのための学習目標とアルゴリズムを開発する。 Inlicit Behavior Cloning (IBC) の目的が実際に人口レベルでも偏っていることを示す。
  論文  参考訳（メタデータ） (2023-09-11T20:13:47Z)
• On Feature Diversity in Energy-based Models [98.78384185493624]
  エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。 EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
  論文  参考訳（メタデータ） (2023-06-02T12:30:42Z)
• Latent Diffusion Energy-Based Model for Interpretable Text Modeling [104.85356157724372]
  本稿では,拡散モデルと潜時空間ESMの共生を変動学習フレームワークで導入する。 我々は,学習した潜在空間の品質を向上させるために,情報ボトルネックと合わせて幾何学的クラスタリングに基づく正規化を開発する。
  論文  参考訳（メタデータ） (2022-06-13T03:41:31Z)
• A Unified Contrastive Energy-based Model for Understanding the Generative Ability of Adversarial Training [64.71254710803368]
  Adversarial Training (AT) は、ディープニューラルネットワークの堅牢性を高める効果的なアプローチである。 我々は、Contrastive Energy-based Models(CEM)と呼ばれる統合確率的枠組みを開発することにより、この現象をデミステレーションする。 本稿では,逆学習法とサンプリング法を開発するための原則的手法を提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:33:34Z)
• Energy-based View of Retrosynthesis [70.66156081030766]
  エネルギーモデルとしてシーケンスおよびグラフベースの手法を統一するフレームワークを提案する。 本稿では,ベイズ前方および後方予測に対して一貫した訓練を行うフレームワーク内での新しい二重変種を提案する。 このモデルは、反応型が不明なテンプレートフリーアプローチに対して、最先端の性能を9.6%向上させる。
  論文  参考訳（メタデータ） (2020-07-14T18:51:06Z)
• Joint Training of Variational Auto-Encoder and Latent Energy-Based Model [112.7509497792616]
  本稿では,変分オートエンコーダ(VAE)と潜時エネルギーベースモデル(EBM)を併用した共同学習手法を提案する。 VAEと潜伏ESMのジョイントトレーニングは、潜伏ベクトル上の3つの関節分布と画像との間の3つのクルバック・リーブラー分岐からなる目的関数に基づいている。
  論文  参考訳（メタデータ） (2020-06-10T20:32:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。