論文の概要: EBM Life Cycle: MCMC Strategies for Synthesis, Defense, and Density
Modeling
- arxiv url: http://arxiv.org/abs/2205.12243v1
- Date: Tue, 24 May 2022 17:52:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 13:44:23.467970
- Title: EBM Life Cycle: MCMC Strategies for Synthesis, Defense, and Density
Modeling
- Title(参考訳): EBMライフサイクル:MCMCによる合成・防衛・密度モデリング
- Authors: Mitch Hill, Jonathan Mitchell, Chu Chen, Yuan Du, Mubarak Shah,
Song-Chun Zhu
- Abstract要約: 本研究は, MCMCサンプリング軌道の所望の長さに応じて, エネルギーベースモデル(EBM)を学習するための戦略を提案する。
1)画像生成のためのショートランサンプリング,2)原則に依存しない対角防御のためのミッドランサンプリング,3)画像確率密度の未変更モデリングのためのロングランサンプリング,である。
- 参考スコア(独自算出の注目度): 116.10821733517976
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work presents strategies to learn an Energy-Based Model (EBM) according
to the desired length of its MCMC sampling trajectories. MCMC trajectories of
different lengths correspond to models with different purposes. Our experiments
cover three different trajectory magnitudes and learning outcomes: 1) shortrun
sampling for image generation; 2) midrun sampling for classifier-agnostic
adversarial defense; and 3) longrun sampling for principled modeling of image
probability densities. To achieve these outcomes, we introduce three novel
methods of MCMC initialization for negative samples used in Maximum Likelihood
(ML) learning. With standard network architectures and an unaltered ML
objective, our MCMC initialization methods alone enable significant performance
gains across the three applications that we investigate. Our results include
state-of-the-art FID scores for unnormalized image densities on the CIFAR-10
and ImageNet datasets; state-of-the-art adversarial defense on CIFAR-10 among
purification methods and the first EBM defense on ImageNet; and scalable
techniques for learning valid probability densities. Code for this project can
be found at https://github.com/point0bar1/ebm-life-cycle.
- Abstract(参考訳): 本研究は, MCMCサンプリング軌道の所望の長さに応じて, エネルギーベースモデル(EBM)を学習するための戦略を提案する。
異なる長さのMCMC軌道は異なる目的のモデルに対応する。
私たちの実験は3つの異なる軌跡の規模と学習結果をカバーしています。
1) 画像生成のためのショートランサンプリング
2) 分類器非依存抗防御のためのミッドランサンプリング
3)画像確率密度の原理モデリングのための長期サンプリング。
これらの結果を達成するために,最大確率(ml)学習に用いる負サンプルに対するmcmc初期化法を3つ導入した。
標準のネットワークアーキテクチャと未修正のML目標により、MCMCの初期化手法だけで、調査対象の3つのアプリケーション間で大きなパフォーマンス向上を実現できます。
その結果、CIFAR-10とImageNetデータセットの非正規化画像密度に対する最先端FIDスコア、CIFAR-10の精製方法における最先端の敵防御、ImageNetにおける最初のEMM防御、有効な確率密度を学習するためのスケーラブルなテクニックが得られた。
このプロジェクトのコードはhttps://github.com/point0bar1/ebm-life-cycleにある。
関連論文リスト
- Learning Energy-based Model via Dual-MCMC Teaching [5.31573596283377]
最大推定量(MLE)を用いてエネルギーベースモデル(EBM)を学習する。
本稿では,エネルギーベースモデル(EBM)の基本学習問題について考察する。
論文 参考訳(メタデータ) (2023-12-05T03:39:54Z) - STANLEY: Stochastic Gradient Anisotropic Langevin Dynamics for Learning
Energy-Based Models [41.031470884141775]
エネルギーベースモデル(EBM)のためのエンドツーエンド学習アルゴリズムを提案する。
本稿では、異方性段差と勾配インフォームド共分散行列に基づく新しい高次元サンプリング法を提案する。
提案手法,すなわちSTANLEYは,新しいMCMC法を用いてエネルギーベースモデルを学習するための最適化アルゴリズムである。
論文 参考訳(メタデータ) (2023-10-19T11:55:16Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-10-05T00:23:34Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery
Likelihood [70.96045509920326]
高次元データに対する最大推定値のトレーニングエネルギーベースモデル(EBMs)は、困難かつ時間を要する可能性がある。
本研究では,データセットの雑音の増大する頂点上で定義された一連のEMMから,協調拡散回復確率(CDRL)を抽出し,抽出する手法を提案する。
CIFAR-10 と ImageNet 32x32 の既存 EBM 法と比較して FID のスコアが大幅に向上し,DRL を2倍高速化した。
論文 参考訳(メタデータ) (2023-09-10T22:05:24Z) - MOCA: Self-supervised Representation Learning by Predicting Masked
Online Codebook Assignments [48.67345147676275]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。
相乗的, 計算効率の両パラダイムを効果的に活用する方法を示す。
我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2023-07-18T15:46:20Z) - MV-JAR: Masked Voxel Jigsaw and Reconstruction for LiDAR-Based
Self-Supervised Pre-Training [58.07391711548269]
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
論文 参考訳(メタデータ) (2023-03-23T17:59:02Z) - Intermediate Layers Matter in Momentum Contrastive Self Supervised
Learning [1.933681537640272]
自己教師付き学習において,画像の2つの拡張版を中間層で表現することで,モーメントコントラスト(MoCo)法の改善が期待できることを示す。
特徴類似性分析とレイヤワイズ探索を用いて,新しい手法を用いて学習したモデルを分析する。
論文 参考訳(メタデータ) (2021-10-27T22:40:41Z) - Learning Energy-Based Model with Variational Auto-Encoder as Amortized
Sampler [35.80109055748496]
最大確率でエネルギーベースモデル(ebms)を訓練するにはマルコフ連鎖モンテカルロサンプリングが必要である。
我々は、エネルギー関数から派生したランゲビンダイナミクスのような有限ステップMCMCを初期化する変分オートエンコーダ(VAE)を学びます。
これらのアモールト化MCMCサンプルにより、ESMは「合成による分析」スキームに従って最大で訓練することができる。
我々はこの共同学習アルゴリズムを変分MCMC教育と呼び、VAEはEMMをデータ分布に向けて追従する。
論文 参考訳(メタデータ) (2020-12-29T20:46:40Z) - A New Mask R-CNN Based Method for Improved Landslide Detection [54.7905160534631]
本稿では,Mask R-CNN機能を利用した地すべり検出手法を提案する。
地すべり及び非地すべり画像を含む160個の要素からなるデータセットを作成する。
提案アルゴリズムは丘陵地帯の土地利用計画立案者や政策立案者にとって潜在的に有用である。
論文 参考訳(メタデータ) (2020-10-04T07:46:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。