論文の概要: Latent Diffusion Energy-Based Model for Interpretable Text Modeling

• arxiv url: http://arxiv.org/abs/2206.05895v4
• Date: Wed, 4 Oct 2023 22:00:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 23:23:02.449121
• Title: Latent Diffusion Energy-Based Model for Interpretable Text Modeling
• Title（参考訳）: テキスト・モデリングのための潜時拡散エネルギーベースモデル
• Authors: Peiyu Yu, Sirui Xie, Xiaojian Ma, Baoxiong Jia, Bo Pang, Ruiqi Gao, Yixin Zhu, Song-Chun Zhu, and Ying Nian Wu
• Abstract要約: 本稿では,拡散モデルと潜時空間ESMの共生を変動学習フレームワークで導入する。 我々は,学習した潜在空間の品質を向上させるために,情報ボトルネックと合わせて幾何学的クラスタリングに基づく正規化を開発する。
• 参考スコア（独自算出の注目度）: 104.85356157724372
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Latent space Energy-Based Models (EBMs), also known as energy-based priors, have drawn growing interests in generative modeling. Fueled by its flexibility in the formulation and strong modeling power of the latent space, recent works built upon it have made interesting attempts aiming at the interpretability of text modeling. However, latent space EBMs also inherit some flaws from EBMs in data space; the degenerate MCMC sampling quality in practice can lead to poor generation quality and instability in training, especially on data with complex latent structures. Inspired by the recent efforts that leverage diffusion recovery likelihood learning as a cure for the sampling issue, we introduce a novel symbiosis between the diffusion models and latent space EBMs in a variational learning framework, coined as the latent diffusion energy-based model. We develop a geometric clustering-based regularization jointly with the information bottleneck to further improve the quality of the learned latent space. Experiments on several challenging tasks demonstrate the superior performance of our model on interpretable text modeling over strong counterparts.
• Abstract（参考訳）: 潜在宇宙エネルギーベースモデル(EBMs)は、エネルギーベースモデルとしても知られ、生成モデルへの関心が高まっている。 定式化の柔軟性と潜在空間の強力なモデリング力により、テキストモデリングの解釈可能性を目指して、近年の研究が進められている。 しかし、遅延空間のEMMは、データ空間におけるEMMのいくつかの欠陥を継承し、縮退したMCMCサンプリングの品質は、特に複雑な遅延構造を持つデータにおいて、訓練における生成品質と不安定性を低下させる可能性がある。 本研究では, 拡散回復可能性学習をサンプリング問題の解決策として活用する最近の取り組みに触発されて, 拡散モデルと潜時空間ebmsとの共生を, 潜時拡散エネルギーに基づくモデルとして創成した変分学習枠組みに導入する。 本研究では,情報ボトルネックと協調して幾何クラスタリングに基づく正規化手法を開発し,学習した潜在空間の品質をさらに向上させる。 いくつかの課題に対する実験は、強力なテキストモデリングにおける我々のモデルの優れた性能を示すものである。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Learning Latent Space Hierarchical EBM Diffusion Models [4.4996462447311725]
  エネルギーベース先行モデルと多層ジェネレータモデルの学習問題について検討する。 近年,エネルギーベースモデル(EBM)を第2段階の補完モデルとして学習し,ギャップを埋める研究が進められている。 本研究では,EBMサンプリングの負担を軽減するために拡散確率スキームを活用することを提案する。
  論文  参考訳（メタデータ） (2024-05-22T18:34:25Z)
• CoCoGen: Physically-Consistent and Conditioned Score-based Generative Models for Forward and Inverse Problems [1.0923877073891446]
  この研究は生成モデルの到達範囲を物理的問題領域に拡張する。 基礎となるPDEとの整合性を促進するための効率的なアプローチを提案する。 各種物理課題におけるスコアベース生成モデルの可能性と汎用性を示す。
  論文  参考訳（メタデータ） (2023-12-16T19:56:10Z)
• Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
  非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。 本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-05T00:23:34Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• A Reparameterized Discrete Diffusion Model for Text Generation [39.0145272152805]
  本研究は, 離散拡散確率モデルと自然言語生成への応用に関する研究である。 離散拡散過程からサンプリングの代替的かつ等価な定式化を導出する。 本研究では,既存の拡散モデルに対して,テキスト生成能力を評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-02-11T16:26:57Z)
• Learning Neural Generative Dynamics for Molecular Conformation Generation [89.03173504444415]
  分子グラフから分子コンフォメーション(つまり3d構造)を生成する方法を検討した。 分子グラフから有効かつ多様なコンフォーメーションを生成する新しい確率論的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-02-20T03:17:58Z)
• Learning Latent Space Energy-Based Prior Model [118.86447805707094]
  我々はジェネレータモデルの潜在空間でエネルギーベースモデル(EBM)を学習する。 学習したモデルが画像やテキストの生成や異常検出の点で強い性能を示すことを示す。
  論文  参考訳（メタデータ） (2020-06-15T08:11:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。