論文の概要: Energy-Based Modelling for Discrete and Mixed Data via Heat Equations on Structured Spaces

• arxiv url: http://arxiv.org/abs/2412.01019v1
• Date: Mon, 02 Dec 2024 00:35:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:50:22.613207
• Title: Energy-Based Modelling for Discrete and Mixed Data via Heat Equations on Structured Spaces
• Title（参考訳）: 構造空間上の熱方程式による離散・混合データのエネルギーモデル
• Authors: Tobias Schröder, Zijing Ou, Yingzhen Li, Andrew B. Duncan,
• Abstract要約: エネルギーベースモデル(EBM)は、様々なデータドメインにわたる確率的モデリングのための柔軟なフレームワークを提供する。 本稿では,データポイントにおけるエネルギー関数の評価のみを必要とする損失関数であるEnergy Discrepancyを用いた個別ESMの訓練を提案する。
• 参考スコア（独自算出の注目度）: 19.92604781654767
• License:
• Abstract: Energy-based models (EBMs) offer a flexible framework for probabilistic modelling across various data domains. However, training EBMs on data in discrete or mixed state spaces poses significant challenges due to the lack of robust and fast sampling methods. In this work, we propose to train discrete EBMs with Energy Discrepancy, a loss function which only requires the evaluation of the energy function at data points and their perturbed counterparts, thus eliminating the need for Markov chain Monte Carlo. We introduce perturbations of the data distribution by simulating a diffusion process on the discrete state space endowed with a graph structure. This allows us to inform the choice of perturbation from the structure of the modelled discrete variable, while the continuous time parameter enables fine-grained control of the perturbation. Empirically, we demonstrate the efficacy of the proposed approaches in a wide range of applications, including the estimation of discrete densities with non-binary vocabulary and binary image modelling. Finally, we train EBMs on tabular data sets with applications in synthetic data generation and calibrated classification.
• Abstract（参考訳）: エネルギーベースモデル(EBM)は、様々なデータドメインにわたる確率的モデリングのための柔軟なフレームワークを提供する。 しかし、離散状態空間や混合状態空間におけるデータに対するEMMの訓練は、ロバストで高速なサンプリング手法が欠如していることから、大きな課題となる。 本研究では,マルコフ連鎖モンテカルロの必要性を排除し,データ点とその摂動点におけるエネルギー関数の評価のみを必要とする損失関数であるエネルギー離散性を用いた個別ESMの訓練を提案する。 本稿では,グラフ構造を持つ離散状態空間上での拡散過程をシミュレートすることにより,データ分布の摂動を導入する。 これにより、モデル化された離散変数の構造から摂動の選択を知らせることができ、一方、連続時間パラメータは摂動のきめ細かい制御を可能にする。 実験により,非バイナリ語彙とバイナリ画像モデリングを用いた離散密度の推定を含む,幅広い応用において提案手法の有効性を実証した。 最後に、合成データ生成と校正分類に応用して、表付きデータセット上でEMMを訓練する。

関連論文リスト

• Discrete vs. Continuous Trade-offs for Generative Models [0.0]
  本研究は拡散確率モデル(DDPM)の理論的および実践的基礎を探求する。 プロセスとブラウン運動を利用して複雑なデータ分布をモデル化するDDPMとスコアベース生成モデル。
  論文  参考訳（メタデータ） (2024-12-26T08:14:27Z)
• A Data-Driven Framework for Discovering Fractional Differential Equations in Complex Systems [8.206685537936078]
  本研究では、データから直接分数微分方程式(FDE)を発見するための段階的なデータ駆動フレームワークを提案する。 我々のフレームワークは、スパース観測とノイズ観測の分離と再構成のための代理モデルとしてディープニューラルネットワークを適用している。 本研究は, 凍結土壌のクリープ挙動に関する, 合成異常拡散データおよび実験データを含む, 各種データセットにわたるフレームワークの検証を行った。
  論文  参考訳（メタデータ） (2024-12-05T08:38:30Z)
• Spatially-Aware Diffusion Models with Cross-Attention for Global Field Reconstruction with Sparse Observations [1.371691382573869]
  フィールド再構成タスクにおけるスコアベース拡散モデルの開発と拡張を行う。 本研究では,観測領域と観測領域の間のトラクタブルマッピングを構築するための条件符号化手法を提案する。 本研究では, モデルが再現可能かどうかを把握し, 融合結果の精度を向上する能力を示す。
  論文  参考訳（メタデータ） (2024-08-30T19:46:23Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Training Discrete Energy-Based Models with Energy Discrepancy [18.161764926125066]
  離散空間上でのエネルギーベースモデル(EBM)の訓練は、そのような空間上でのサンプリングが難しいため困難である。 エネルギー差分(ED)を用いた個別ESMの訓練を提案する。 格子イジングモデル,バイナリ合成データ,離散画像データセットにおいて,それらの相対的な性能を示す。
  論文  参考訳（メタデータ） (2023-07-14T19:38:05Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• $\mathcal{F}$-EBM: Energy Based Learning of Functional Data [1.0896567381206714]
  エネルギーベースモデル (EBMs) は有限次元空間上の密度をモデル化するための非常に効果的なアプローチであることが証明されている。 有限個の点で評価された関数サンプルから関数の分布を学習できる新しいEMMのクラスを提案する。
  論文  参考訳（メタデータ） (2022-02-04T01:01:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。