論文の概要: End-to-end Training of Deep Boltzmann Machines by Unbiased Contrastive
Divergence with Local Mode Initialization
- arxiv url: http://arxiv.org/abs/2305.19684v1
- Date: Wed, 31 May 2023 09:28:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 17:40:51.665354
- Title: End-to-end Training of Deep Boltzmann Machines by Unbiased Contrastive
Divergence with Local Mode Initialization
- Title（参考訳）: unbiased contrastive divergence と local mode initialization によるディープボルツマンマシンのエンド・ツー・エンド訓練
- Authors: Shohei Taniguchi, Masahiro Suzuki, Yusuke Iwasawa, Yutaka Matsuo
- Abstract要約: 我々は、ディープボルツマンマシン(DBM)におけるバイアス勾配推定の問題に対処する。
本稿では,MH(Metropolis-Hastings)に基づく結合を提案し,ターゲット分布の局所モード付近の状態を初期化する。
提案を拒絶するMHの妥当性のため、カップリングは高い確率で1ステップで収束する傾向にあり、高い効率性をもたらす。
- 参考スコア（独自算出の注目度）: 23.008689183810695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the problem of biased gradient estimation in deep Boltzmann
machines (DBMs). The existing method to obtain an unbiased estimator uses a
maximal coupling based on a Gibbs sampler, but when the state is
high-dimensional, it takes a long time to converge. In this study, we propose
to use a coupling based on the Metropolis-Hastings (MH) and to initialize the
state around a local mode of the target distribution. Because of the propensity
of MH to reject proposals, the coupling tends to converge in only one step with
a high probability, leading to high efficiency. We find that our method allows
DBMs to be trained in an end-to-end fashion without greedy pretraining. We also
propose some practical techniques to further improve the performance of DBMs.
We empirically demonstrate that our training algorithm enables DBMs to show
comparable generative performance to other deep generative models, achieving
the FID score of 10.33 for MNIST.
- Abstract（参考訳）: 深部ボルツマンマシン(DBM)におけるバイアス勾配推定の問題に対処する。
既存の非バイアス推定器を得る方法はギブスサンプリング器に基づく最大結合を用いるが、状態が高次元である場合には収束するのに長い時間がかかる。
本研究では,MH(Metropolis-Hastings)に基づく結合を用いて,対象分布の局所モード付近の状態を初期化する手法を提案する。
提案を拒絶するMHの妥当性のため、カップリングは高い確率で1ステップで収束する傾向にあり、高い効率性をもたらす。
そこで本手法では,DBMを学習前訓練なしでエンドツーエンドで訓練できることがわかった。
また,DBMの性能向上のための実用的手法を提案する。
MNISTのFIDスコア10.33を達成し,DBMが他の深層生成モデルに匹敵する生成性能を示すことを実証的に実証した。
関連論文リスト
- Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。
EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。
本研究では,協調拡散回復可能性 (CDRL) を提案する。
論文 参考訳（メタデータ） (2023-09-10T22:05:24Z) - Monotone deep Boltzmann machines [86.50247625239406]
ディープボルツマンマシン(Deep Boltzmann Machine、DBM)は、双対エネルギー関数によって制御される多層確率モデルである。
我々は,各層で任意の自己接続が可能な新しい制限モデルであるモノトンDBMを開発した。
アクティベーションの特定の選択が、変動平均場解を与える固定点反復をもたらすことを示す。
論文 参考訳（メタデータ） (2023-07-11T03:02:44Z) - CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion
Models [72.93652777646233]
カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。
本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。
カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
論文 参考訳（メタデータ） (2023-05-29T07:49:44Z) - Scalable Optimal Margin Distribution Machine [50.281535710689795]
ODM(Optimal margin Distribution Machine)は、新しいマージン理論に根ざした新しい統計学習フレームワークである。
本稿では,従来のODMトレーニング手法に比べて10倍近い高速化を実現するスケーラブルなODMを提案する。
論文 参考訳（メタデータ） (2023-05-08T16:34:04Z) - Non-Generative Energy Based Models [3.1447898427012473]
エネルギーベースモデル(EBM)はコンピュータビジョンの中でますます人気が高まっている。
我々は、非生成的トレーニングアプローチ、非生成的EMM(NG-EBM)を提案する。
我々のNG-EBMトレーニング戦略は、校正、アウト・オブ・ディストリビューション検出、対向抵抗におけるEMMの利点の多くを保っていることを示す。
論文 参考訳（メタデータ） (2023-04-03T18:47:37Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Mode-Assisted Joint Training of Deep Boltzmann Machines [10.292439652458157]
モード支援トレーニングのパフォーマンス向上は,DBMにとってさらに劇的であることを示す。
モードアシストアルゴリズムと共同で訓練されたDBMは、パラメータの桁数が桁違い低い同じデータセットを表現できる。
論文 参考訳（メタデータ） (2021-02-17T04:03:30Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z) - Mode-Assisted Unsupervised Learning of Restricted Boltzmann Machines [7.960229223744695]
標準勾配更新とオフグラディエント方向を適切に組み合わせることで、従来の勾配法よりもトレーニングを劇的に改善することを示す。
モードトレーニングと呼ばれるこのアプローチは、収束相対エントロピー(KL分散)の低下に加えて、より高速なトレーニングと安定性を促進する。
我々が提案するモードトレーニングは、任意の勾配法と組み合わせて適用でき、より一般的なエネルギーベースのニューラルネットワーク構造に容易に拡張できるため、非常に多用途である。
論文 参考訳（メタデータ） (2020-01-15T21:12:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。