論文の概要: Adaptive Multi-stage Density Ratio Estimation for Learning Latent Space Energy-based Model

• arxiv url: http://arxiv.org/abs/2209.08739v1
• Date: Mon, 19 Sep 2022 03:20:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 15:56:15.890663
• Title: Adaptive Multi-stage Density Ratio Estimation for Learning Latent Space Energy-based Model
• Title（参考訳）: 遅延宇宙エネルギーモデル学習のための適応多段階密度比推定
• Authors: Zhisheng Xiao, Tian Han
• Abstract要約: 本稿では,ジェネレータモデルの潜在空間における学習エネルギーベースモデル(EBM)の基本的問題について検討する。 本研究では,密度比推定によるEBMの識別にノイズコントラッシブ推定(NCE)を用いることを提案する。 本実験は画像生成と再構成および異常検出における強い性能を示す。
• 参考スコア（独自算出の注目度）: 11.401637217963511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the fundamental problem of learning energy-based model (EBM) in the latent space of the generator model. Learning such prior model typically requires running costly Markov Chain Monte Carlo (MCMC). Instead, we propose to use noise contrastive estimation (NCE) to discriminatively learn the EBM through density ratio estimation between the latent prior density and latent posterior density. However, the NCE typically fails to accurately estimate such density ratio given large gap between two densities. To effectively tackle this issue and learn more expressive prior models, we develop the adaptive multi-stage density ratio estimation which breaks the estimation into multiple stages and learn different stages of density ratio sequentially and adaptively. The latent prior model can be gradually learned using ratio estimated in previous stage so that the final latent space EBM prior can be naturally formed by product of ratios in different stages. The proposed method enables informative and much sharper prior than existing baselines, and can be trained efficiently. Our experiments demonstrate strong performances in image generation and reconstruction as well as anomaly detection.
• Abstract（参考訳）: 本稿では,発電機モデルの潜在空間における学習エネルギーベースモデル(ebm)の基本問題について述べる。 このような事前モデルを学習するには,コストのかかるMarkov Chain Monte Carlo (MCMC) を実行する必要がある。 代わりに,ノイズコントラスト推定(nce)を用いて,潜時前密度と潜時後密度の密度比推定を通じてebmを判別的に学習する。 しかし、nceは通常、2つの密度の間に大きなギャップがあるため、その密度比を正確に見積もることができない。 この問題に効果的に取り組み,より表現力のある事前モデルを学ぶために,推定を複数の段階に分割し,逐次かつ適応的に密度比の異なる段階を学習する適応型多段階密度比推定法を開発した。 最終潜伏空間ESM事前が、異なる段階における比の積によって自然に形成されるように、前段階で推定される比を用いて、潜伏前モデルを徐々に学習することができる。 提案手法は,既存のベースラインよりも情報的かつより鋭く,効率的に訓練することができる。 本実験は画像生成と再構成および異常検出における強い性能を示す。

関連論文リスト

• Overcoming Saturation in Density Ratio Estimation by Iterated Regularization [11.244546184962996]
  密度比推定のためのカーネル手法のクラスが誤差飽和に悩まされていることを示す。 高速な誤差率を達成するために, 密度比推定における繰り返し正規化を導入する。
  論文  参考訳（メタデータ） (2024-02-21T16:02:14Z)
• Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
  非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。 本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-05T00:23:34Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Balanced Training of Energy-Based Models with Adaptive Flow Sampling [13.951904929884618]
  エネルギーベースモデル (EBMs) は、非正規化ログ密度を直接パラメータ化する汎用密度推定モデルである。 我々は、異なる種類の生成モデル、正規化フロー(NF)を用いたESMのための新しい最大可能性トレーニングアルゴリズムを提案する。 本手法はトレーニング中にNFをEMMに適合させ,NF支援サンプリング方式によりESMの正確な勾配が常に得られるようにする。
  論文  参考訳（メタデータ） (2023-06-01T13:58:06Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Out-of-Distribution Detection with Class Ratio Estimation [4.930817402876787]
  近年,OOD画像の検出作業において,密度に基づくアウト・オブ・ディストリビューション(OOD)検出は信頼性が低いことが示されている。 本稿では,エネルギーモデルを構築し,異なる基底分布を用いる新しい枠組みの下で,密度比に基づく手法を統合することを提案する。
  論文  参考訳（メタデータ） (2022-06-08T15:20:49Z)
• Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning [78.30395044401321]
  我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。 ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。 連続的な制御環境では、壁時計の時間を最大50%削減することができる。
  論文  参考訳（メタデータ） (2022-06-02T17:27:49Z)
• An Energy-Based Prior for Generative Saliency [62.79775297611203]
  本稿では,情報的エネルギーベースモデルを事前分布として採用する,新たな生成正当性予測フレームワークを提案する。 生成サリエンシモデルを用いて,画像から画素単位の不確実性マップを得ることができ,サリエンシ予測におけるモデル信頼度を示す。 実験結果から, エネルギーベース先行モデルを用いた生成塩分率モデルでは, 精度の高い塩分率予測だけでなく, 人間の知覚と整合した信頼性の高い不確実性マップを実現できることが示された。
  論文  参考訳（メタデータ） (2022-04-19T10:51:00Z)
• Imitation with Neural Density Models [98.34503611309256]
  本稿では,Imitation Occupancy Entropy Reinforcement Learning (RL) を報奨として,専門家の占有率の密度推定によるImitation Learning (IL) の新しい枠組みを提案する。 提案手法は,専門家の占有率と模倣者の占有率の逆Kulback-Leibler偏差を確実に低くする非逆モデル自由RLの目的を最大化する。
  論文  参考訳（メタデータ） (2020-10-19T19:38:36Z)
• Telescoping Density-Ratio Estimation [21.514983459970903]
  我々は、テレスコープ密度比推定(TRE)という新しいフレームワークを導入する。 TREは高次元空間における高相似密度の比を推定できる。 実験により、TREは既存の単一比法よりも大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2020-06-22T12:55:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。