論文の概要: EBM Life Cycle: MCMC Strategies for Synthesis, Defense, and Density Modeling

• arxiv url: http://arxiv.org/abs/2205.12243v1
• Date: Tue, 24 May 2022 17:52:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 13:44:23.467970
• Title: EBM Life Cycle: MCMC Strategies for Synthesis, Defense, and Density Modeling
• Title（参考訳）: EBMライフサイクル:MCMCによる合成・防衛・密度モデリング
• Authors: Mitch Hill, Jonathan Mitchell, Chu Chen, Yuan Du, Mubarak Shah, Song-Chun Zhu
• Abstract要約: 本研究は, MCMCサンプリング軌道の所望の長さに応じて, エネルギーベースモデル(EBM)を学習するための戦略を提案する。 1)画像生成のためのショートランサンプリング,2)原則に依存しない対角防御のためのミッドランサンプリング,3)画像確率密度の未変更モデリングのためのロングランサンプリング,である。
• 参考スコア（独自算出の注目度）: 116.10821733517976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work presents strategies to learn an Energy-Based Model (EBM) according to the desired length of its MCMC sampling trajectories. MCMC trajectories of different lengths correspond to models with different purposes. Our experiments cover three different trajectory magnitudes and learning outcomes: 1) shortrun sampling for image generation; 2) midrun sampling for classifier-agnostic adversarial defense; and 3) longrun sampling for principled modeling of image probability densities. To achieve these outcomes, we introduce three novel methods of MCMC initialization for negative samples used in Maximum Likelihood (ML) learning. With standard network architectures and an unaltered ML objective, our MCMC initialization methods alone enable significant performance gains across the three applications that we investigate. Our results include state-of-the-art FID scores for unnormalized image densities on the CIFAR-10 and ImageNet datasets; state-of-the-art adversarial defense on CIFAR-10 among purification methods and the first EBM defense on ImageNet; and scalable techniques for learning valid probability densities. Code for this project can be found at https://github.com/point0bar1/ebm-life-cycle.
• Abstract（参考訳）: 本研究は, MCMCサンプリング軌道の所望の長さに応じて, エネルギーベースモデル(EBM)を学習するための戦略を提案する。 異なる長さのMCMC軌道は異なる目的のモデルに対応する。 私たちの実験は3つの異なる軌跡の規模と学習結果をカバーしています。 1) 画像生成のためのショートランサンプリング 2) 分類器非依存抗防御のためのミッドランサンプリング 3)画像確率密度の原理モデリングのための長期サンプリング。 これらの結果を達成するために,最大確率(ml)学習に用いる負サンプルに対するmcmc初期化法を3つ導入した。 標準のネットワークアーキテクチャと未修正のML目標により、MCMCの初期化手法だけで、調査対象の3つのアプリケーション間で大きなパフォーマンス向上を実現できます。 その結果、CIFAR-10とImageNetデータセットの非正規化画像密度に対する最先端FIDスコア、CIFAR-10の精製方法における最先端の敵防御、ImageNetにおける最初のEMM防御、有効な確率密度を学習するためのスケーラブルなテクニックが得られた。 このプロジェクトのコードはhttps://github.com/point0bar1/ebm-life-cycleにある。

関連論文リスト

• Pseudo-triplet Guided Few-shot Composed Image Retrieval [20.040511832864503]
  Composed Image Retrieval (CIR)は、マルチモーダルクエリでターゲット画像を取得することを目的とした課題である。 PTG-FSCIRと呼ばれる2段階の擬似三重項誘導方式を提案する。 最初の段階では、純画像データから擬似三重項を生成するために、注意型マスキングとキャプションに基づく擬似三重項生成法を提案する。 第2段階では,3重項に基づく挑戦的CIR微調整法を提案し,擬似修正テキストに基づくサンプルの挑戦的スコア推定戦略を設計する。
  論文  参考訳（メタデータ） (2024-07-08T14:53:07Z)
• Learning Energy-based Model via Dual-MCMC Teaching [5.31573596283377]
  最大推定量(MLE)を用いてエネルギーベースモデル(EBM)を学習する。 本稿では,エネルギーベースモデル(EBM)の基本学習問題について考察する。
  論文  参考訳（メタデータ） (2023-12-05T03:39:54Z)
• Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
  非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。 本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-05T00:23:34Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• MV-JAR: Masked Voxel Jigsaw and Reconstruction for LiDAR-Based Self-Supervised Pre-Training [58.07391711548269]
  Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
  論文  参考訳（メタデータ） (2023-03-23T17:59:02Z)
• Intermediate Layers Matter in Momentum Contrastive Self Supervised Learning [1.933681537640272]
  自己教師付き学習において,画像の2つの拡張版を中間層で表現することで,モーメントコントラスト(MoCo)法の改善が期待できることを示す。 特徴類似性分析とレイヤワイズ探索を用いて,新しい手法を用いて学習したモデルを分析する。
  論文  参考訳（メタデータ） (2021-10-27T22:40:41Z)
• Learning Energy-Based Model with Variational Auto-Encoder as Amortized Sampler [35.80109055748496]
  最大確率でエネルギーベースモデル(ebms)を訓練するにはマルコフ連鎖モンテカルロサンプリングが必要である。 我々は、エネルギー関数から派生したランゲビンダイナミクスのような有限ステップMCMCを初期化する変分オートエンコーダ(VAE)を学びます。 これらのアモールト化MCMCサンプルにより、ESMは「合成による分析」スキームに従って最大で訓練することができる。 我々はこの共同学習アルゴリズムを変分MCMC教育と呼び、VAEはEMMをデータ分布に向けて追従する。
  論文  参考訳（メタデータ） (2020-12-29T20:46:40Z)
• A New Mask R-CNN Based Method for Improved Landslide Detection [54.7905160534631]
  本稿では,Mask R-CNN機能を利用した地すべり検出手法を提案する。 地すべり及び非地すべり画像を含む160個の要素からなるデータセットを作成する。 提案アルゴリズムは丘陵地帯の土地利用計画立案者や政策立案者にとって潜在的に有用である。
  論文  参考訳（メタデータ） (2020-10-04T07:46:37Z)
• Stochastic Security: Adversarial Defense Using Long-Run Dynamics of Energy-Based Models [82.03536496686763]
  敵対的攻撃に対するディープ・ネットワークの脆弱性は、認識とセキュリティの両方の観点から、ディープ・ラーニングの中心的な問題である。 我々は,自然学習型分類器の保護に重点を置き,マルコフ・チェイン・モンテカルロ (MCMC) とエネルギーベースモデル (EBM) を併用して敵の浄化を行った。 本研究は,1)現実的な長期MCMCサンプルを用いたEMMの訓練方法の改善,2)防衛の理論的曖昧さを解消する期待・オフバー・トランスフォーメーション(EOT)ディフェンス,3)自然に訓練された分類器と競争的ディフェンスのための最先端の対人ディフェンス,である。
  論文  参考訳（メタデータ） (2020-05-27T17:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。