論文の概要: Incorporating Inductive Biases to Energy-based Generative Models

• arxiv url: http://arxiv.org/abs/2505.01111v1
• Date: Fri, 02 May 2025 08:46:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.971668
• Title: Incorporating Inductive Biases to Energy-based Generative Models
• Title（参考訳）: 誘導ビアーゼをエネルギーベース生成モデルに組み込む
• Authors: Yukun Li, Li-Ping Liu,
• Abstract要約: 本稿では,データモデリングに帰納バイアスを組み込むために,EMMと指数関数モデルを組み合わせた新しいハイブリッドアプローチを提案する。 具体的には、パラメータフリーな統計関数でエネルギー項を拡大し、モデルが鍵データ統計をキャプチャするのを助ける。 我々の実証研究は、ハイブリッドモデルが統計にマッチする能力を検証する。
• 参考スコア（独自算出の注目度）: 5.140589325829964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the advent of score-matching techniques for model training and Langevin dynamics for sample generation, energy-based models (EBMs) have gained renewed interest as generative models. Recent EBMs usually use neural networks to define their energy functions. In this work, we introduce a novel hybrid approach that combines an EBM with an exponential family model to incorporate inductive bias into data modeling. Specifically, we augment the energy term with a parameter-free statistic function to help the model capture key data statistics. Like an exponential family model, the hybrid model aims to align the distribution statistics with data statistics during model training, even when it only approximately maximizes the data likelihood. This property enables us to impose constraints on the hybrid model. Our empirical study validates the hybrid model's ability to match statistics. Furthermore, experimental results show that data fitting and generation improve when suitable informative statistics are incorporated into the hybrid model.
• Abstract（参考訳）: モデルトレーニングのためのスコアマッチング技術やサンプル生成のためのランゲヴィンダイナミクスの出現に伴い、エネルギーベースモデル(EBM)は生成モデルとして新たな関心を集めている。 最近のEMMは通常、ニューラルネットワークを使ってエネルギー関数を定義する。 本研究では,データモデリングに帰納バイアスを組み込むために,EMMと指数関数的家族モデルを組み合わせた新しいハイブリッドアプローチを提案する。 具体的には、パラメータフリーな統計関数でエネルギー項を拡大し、モデルが鍵データ統計をキャプチャするのを助ける。 指数関数型ファミリモデルと同様に、ハイブリッドモデルは、データ確率がほぼ最大である場合でも、モデルトレーニング中の分布統計とデータ統計とを一致させることを目的としている。 この特性により、ハイブリッドモデルに制約を課すことができます。 我々の実証研究は、ハイブリッドモデルが統計にマッチする能力を検証する。 さらに,ハイブリッドモデルに適切な情報統計を組み込むと,データフィッティングと生成が向上することを示す。

関連論文リスト

• Guiding Time-Varying Generative Models with Natural Gradients on Exponential Family Manifold [5.000311680307273]
  時間変化生成モデルの進化は指数族多様体に射影できることを示す。 次に、自然な勾配降下スキームに従って、多様体上の射影を移動させることで生成モデルを訓練する。 指数族内の任意のパラメトリックモデルのクローズドフォーム更新ルールを特徴とするアルゴリズムの粒子バージョンを提案する。
  論文  参考訳（メタデータ） (2025-02-11T15:39:47Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Maximum Entropy Inverse Reinforcement Learning of Diffusion Models with Energy-Based Models [12.327318533784961]
  本稿では,拡散生成モデルのサンプル品質を向上させるために,最大強化学習(IRL)手法を提案する。 トレーニングデータから推定したログ密度を用いて拡散モデルを訓練(または微調整)する。 実験により,DxMIを用いて微調整した拡散モデルでは,4段階から10段階の精度で高品質な試料を生成できることがわかった。
  論文  参考訳（メタデータ） (2024-06-30T08:52:17Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• On Energy-Based Models with Overparametrized Shallow Neural Networks [44.74000986284978]
  エネルギーベースモデル(EBM)は、ジェネレーションモデリングの強力なフレームワークです。 この研究では、浅いニューラルネットワークに焦点を当てます。 我々は、いわゆる「アクティブ」体制で訓練されたモデルが、関連する「怠慢」またはカーネル体制に対して統計的に有利であることを示す。
  論文  参考訳（メタデータ） (2021-04-15T15:34:58Z)
• Developing a Hybrid Data-Driven, Mechanistic Virtual Flow Meter -- a Case Study [0.0]
  本研究は、上記の2つの専門分野の技術を生かしたハイブリッド・モデリング手法について検討し、良好な生産チョークをモデル化する。 チョークは、第1原理方程式の単純化されたセットとニューラルネットワークで表現され、弁流係数を推定する。
  論文  参考訳（メタデータ） (2020-02-07T12:35:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。