論文の概要: Incorporating Inductive Biases to Energy-based Generative Models

• arxiv url: http://arxiv.org/abs/2505.01111v1
• Date: Fri, 02 May 2025 08:46:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.971668
• Title: Incorporating Inductive Biases to Energy-based Generative Models
• Title（参考訳）: 誘導ビアーゼをエネルギーベース生成モデルに組み込む
• Authors: Yukun Li, Li-Ping Liu,
• Abstract要約: 本稿では,データモデリングに帰納バイアスを組み込むために,EMMと指数関数モデルを組み合わせた新しいハイブリッドアプローチを提案する。 具体的には、パラメータフリーな統計関数でエネルギー項を拡大し、モデルが鍵データ統計をキャプチャするのを助ける。 我々の実証研究は、ハイブリッドモデルが統計にマッチする能力を検証する。
• 参考スコア（独自算出の注目度）: 5.140589325829964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the advent of score-matching techniques for model training and Langevin dynamics for sample generation, energy-based models (EBMs) have gained renewed interest as generative models. Recent EBMs usually use neural networks to define their energy functions. In this work, we introduce a novel hybrid approach that combines an EBM with an exponential family model to incorporate inductive bias into data modeling. Specifically, we augment the energy term with a parameter-free statistic function to help the model capture key data statistics. Like an exponential family model, the hybrid model aims to align the distribution statistics with data statistics during model training, even when it only approximately maximizes the data likelihood. This property enables us to impose constraints on the hybrid model. Our empirical study validates the hybrid model's ability to match statistics. Furthermore, experimental results show that data fitting and generation improve when suitable informative statistics are incorporated into the hybrid model.
• Abstract（参考訳）: モデルトレーニングのためのスコアマッチング技術やサンプル生成のためのランゲヴィンダイナミクスの出現に伴い、エネルギーベースモデル(EBM)は生成モデルとして新たな関心を集めている。 最近のEMMは通常、ニューラルネットワークを使ってエネルギー関数を定義する。 本研究では,データモデリングに帰納バイアスを組み込むために,EMMと指数関数的家族モデルを組み合わせた新しいハイブリッドアプローチを提案する。 具体的には、パラメータフリーな統計関数でエネルギー項を拡大し、モデルが鍵データ統計をキャプチャするのを助ける。 指数関数型ファミリモデルと同様に、ハイブリッドモデルは、データ確率がほぼ最大である場合でも、モデルトレーニング中の分布統計とデータ統計とを一致させることを目的としている。 この特性により、ハイブリッドモデルに制約を課すことができます。 我々の実証研究は、ハイブリッドモデルが統計にマッチする能力を検証する。 さらに,ハイブリッドモデルに適切な情報統計を組み込むと,データフィッティングと生成が向上することを示す。

関連論文リスト

• Guiding Time-Varying Generative Models with Natural Gradients on Exponential Family Manifold [5.000311680307273]
  時間変化生成モデルの進化は指数族多様体に射影できることを示す。 次に、自然な勾配降下スキームに従って、多様体上の射影を移動させることで生成モデルを訓練する。 指数族内の任意のパラメトリックモデルのクローズドフォーム更新ルールを特徴とするアルゴリズムの粒子バージョンを提案する。
  論文  参考訳（メタデータ） (2025-02-11T15:39:47Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Maximum Entropy Inverse Reinforcement Learning of Diffusion Models with Energy-Based Models [12.327318533784961]
  本稿では,拡散生成モデルのサンプル品質を向上させるために,最大強化学習(IRL)手法を提案する。 トレーニングデータから推定したログ密度を用いて拡散モデルを訓練(または微調整)する。 実験により,DxMIを用いて微調整した拡散モデルでは,4段階から10段階の精度で高品質な試料を生成できることがわかった。
  論文  参考訳（メタデータ） (2024-06-30T08:52:17Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
  混合データセットに対する生成モデルの訓練が与える影響について検討する。 まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。 我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
  論文  参考訳（メタデータ） (2023-09-30T16:41:04Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)
• Hybrid Feature- and Similarity-Based Models for Prediction and Interpretation using Large-Scale Observational Data [0.0]
  教師付き学習のためのハイブリッド機能と類似性に基づくモデルを提案する。 提案したハイブリッドモデルは,カーネル部分の疎性誘導ペナルティを伴う凸最適化に適合する。 我々は,本モデルと,合成データを用いた特徴的および類似性に基づくアプローチとを比較し,孤独感や社会的孤立のリスクを予測するためにEHRデータを用いた。
  論文  参考訳（メタデータ） (2022-04-12T20:37:03Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• Controllable and Compositional Generation with Latent-Space Energy-Based Models [60.87740144816278]
  制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。 本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。 エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-10-21T03:31:45Z)
• On Energy-Based Models with Overparametrized Shallow Neural Networks [44.74000986284978]
  エネルギーベースモデル(EBM)は、ジェネレーションモデリングの強力なフレームワークです。 この研究では、浅いニューラルネットワークに焦点を当てます。 我々は、いわゆる「アクティブ」体制で訓練されたモデルが、関連する「怠慢」またはカーネル体制に対して統計的に有利であることを示す。
  論文  参考訳（メタデータ） (2021-04-15T15:34:58Z)
• Developing a Hybrid Data-Driven, Mechanistic Virtual Flow Meter -- a Case Study [0.0]
  本研究は、上記の2つの専門分野の技術を生かしたハイブリッド・モデリング手法について検討し、良好な生産チョークをモデル化する。 チョークは、第1原理方程式の単純化されたセットとニューラルネットワークで表現され、弁流係数を推定する。
  論文  参考訳（メタデータ） (2020-02-07T12:35:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。