論文の概要: Joint Discriminative-Generative Modeling via Dual Adversarial Training

• arxiv url: http://arxiv.org/abs/2510.13872v1
• Date: Mon, 13 Oct 2025 13:07:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.502221
• Title: Joint Discriminative-Generative Modeling via Dual Adversarial Training
• Title（参考訳）: 双対学習による共同識別・生成モデル
• Authors: Xuwang Yin, Claire Zhang, Julie Steele, Nir Shavit, Tony T. Wang,
• Abstract要約: 本稿では,差別的堅牢性と安定な生成学習の両面において,敵対的学習原則を取り入れた新しい学習枠組みを提案する。 CIFAR-10, CIFAR-100, ImageNetによる実験により, 競合生成性能を維持しつつ, 既存のハイブリッドモデルに対する対角的ロバスト性を大幅に向上することを示した。
• 参考スコア（独自算出の注目度）: 4.884832758265374
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Simultaneously achieving robust classification and high-fidelity generative modeling within a single framework presents a significant challenge. Hybrid approaches, such as Joint Energy-Based Models (JEM), interpret classifiers as EBMs but are often limited by the instability and poor sample quality inherent in SGLD-based training. We address these limitations by proposing a novel training framework that integrates adversarial training (AT) principles for both discriminative robustness and stable generative learning. The proposed method introduces three key innovations: (1) the replacement of SGLD-based JEM learning with a stable, AT-based approach that optimizes the energy function by discriminating between real data and PGD-generated contrastive samples using the BCE loss; (2) synergistic adversarial training for the discriminative component that enhances classification robustness while eliminating the need for explicit gradient penalties; and (3) a two-stage training procedure to resolve the incompatibility between batch normalization and EBM training. Experiments on CIFAR-10, CIFAR-100, and ImageNet demonstrate that our method substantially improves adversarial robustness over existing hybrid models while maintaining competitive generative performance. On ImageNet, when optimized for generative modeling, our model's generative fidelity surpasses that of BigGAN and approaches diffusion models, representing the first MCMC-based EBM approach to achieve high-quality generation on complex, high-resolution datasets. Our approach addresses key stability issues that have limited JEM scaling and demonstrates that adversarial training can serve as an effective foundation for unified frameworks capable of generating and robustly classifying visual data.
• Abstract（参考訳）: 1つのフレームワーク内で頑健な分類と高忠実な生成モデリングを同時に達成することは、大きな課題となる。 ジョイント・エナジー・ベース・モデル(JEM)のようなハイブリッド・アプローチでは、分類器をEMMとして解釈するが、しばしばSGLDベースの訓練に固有の不安定性とサンプルの品質に制限される。 差別的堅牢性と安定な生成学習の両方に対して、敵対的トレーニング(AT)の原則を取り入れた、新たなトレーニングフレームワークを提案することにより、これらの制限に対処する。 提案手法では,(1)SGLDに基づくJEM学習を,BCEロスを用いた実データとPGD生成のコントラスト標本の識別によりエネルギー関数を最適化する安定したATベースのアプローチに置き換えること,(2)明示的な勾配のペナルティを排除しながら分類の堅牢性を高める識別的成分の相乗的対角トレーニング,(3)バッチ正規化とESMトレーニングの不適合性を解決するための2段階のトレーニング手順を導入すること,の3つの主要なイノベーションを紹介する。 CIFAR-10, CIFAR-100, ImageNetによる実験により, 競合生成性能を維持しつつ, 既存のハイブリッドモデルに対する対角的ロバスト性を大幅に向上することを示した。 ImageNetでは, 生成モデルに最適化されたモデルにおいて, 生成忠実度はBigGANよりも大きく, 拡散モデルに近づき, 複雑な高分解能データセット上で高品質な生成を実現するためのMCMCベースのESMアプローチを初めて示した。 提案手法は, JEMスケーリングが制限された主要な安定性問題に対処し, 視覚データの生成と堅牢な分類が可能な統合フレームワークの効果的な基盤として, 対人訓練が有効であることを示す。

関連論文リスト

• Harmonizing Diverse Models: A Layer-wise Merging Strategy for Consistent Generation [8.340691940980834]
  LLM(Large Language Models)は、検索されたコンテキストに基づいて正確で信頼性の高い応答を生成する。 LLMはしばしば意味論的に等価な入力に対して一貫性のない出力を生成する。 本稿では, 体系的な合成データ生成, 組込み性向上のための三重項損失, レイヤワイドモデルマージ手法を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:30:28Z)
• Learning Robust Diffusion Models from Imprecise Supervision [75.53546939251146]
  DMISは、Imrecise Supervisionから堅牢な条件拡散モデルをトレーニングするための統一されたフレームワークである。 我々のフレームワークは、可能性から派生し、その目的を生成的および分類的構成要素に分解する。 画像生成、弱教師付き学習、データセットの凝縮をカバーし、様々な形の不正確な監視実験を行い、DMISが常に高品質でクラス差別的なサンプルを生成することを示した。
  論文  参考訳（メタデータ） (2025-10-03T14:00:32Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• A Unified Pairwise Framework for RLHF: Bridging Generative Reward Modeling and Policy Optimization [18.892740849961456]
  Reinforcement Learning from Human Feedback (RLHF) は、大規模言語モデルと人間の好みを協調させる重要なパラダイムとして生まれてきた。 本稿では,これらの課題に対処するRLHFフレームワークであるPairwise-RLを紹介する。
  論文  参考訳（メタデータ） (2025-04-07T11:34:48Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Class-Incremental Mixture of Gaussians for Deep Continual Learning [15.49323098362628]
  本稿では,ガウスモデルの混合を連続学習フレームワークに組み込むことを提案する。 固定抽出器を用いたメモリフリーシナリオにおいて,本モデルが効果的に学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-09T04:33:19Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Enhancing Text Generation with Cooperative Training [23.971227375706327]
  ほとんどの一般的な方法は、別々に生成的および差別的なモデルを訓練し、互いに変化に適応できなかった。 本稿では,識別器とジェネレータをクローズドループで協調的に学習するテキスト分野におけるテキスト自己一貫性学習フレームワークを提案する。 我々のフレームワークは、モード崩壊や非収束といったトレーニングの不安定さを軽減することができる。
  論文  参考訳（メタデータ） (2023-03-16T04:21:19Z)
• A Unified Contrastive Energy-based Model for Understanding the Generative Ability of Adversarial Training [64.71254710803368]
  Adversarial Training (AT) は、ディープニューラルネットワークの堅牢性を高める効果的なアプローチである。 我々は、Contrastive Energy-based Models(CEM)と呼ばれる統合確率的枠組みを開発することにより、この現象をデミステレーションする。 本稿では,逆学習法とサンプリング法を開発するための原則的手法を提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。