論文の概要: Structured Generative Modeling with the Thermodynamic Kolmogorov-Arnold Model

• arxiv url: http://arxiv.org/abs/2506.14167v2
• Date: Sat, 05 Jul 2025 02:16:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 17:51:39.923151
• Title: Structured Generative Modeling with the Thermodynamic Kolmogorov-Arnold Model
• Title（参考訳）: 熱力学的コルモゴロフ・アルノルドモデルによる構造生成モデリング
• Authors: Prithvi Raj,
• Abstract要約: 生成モデルに対するコルモゴロフ・アルノルド表現定理の新たな適応法を提案する。 熱力学的コルモゴロフ・アルノルドモデル(T-KAM)を構造的および誘導的バイアスの新しい枠組みとして導入する。 T-KAMは、生成モデリングにおける一般的なトレードオフのエレガントなバランスを提供し、高速な推論、高いサンプル品質、安定したトレーニングを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning an energy-based model (EBM) in the latent space of a top-down generative model offers an expressive and interpretable framework for text and image generation. However, it remains unclear how this interpretability can be systematically leveraged to guide model design, improve generative quality, and reduce training time. Moreover, the reliance on Langevin Monte Carlo (LMC) sampling presents challenges in efficiency and exploring multimodal latent distributions. In this work, we propose a novel adaptation of the Kolmogorov-Arnold representation theorem for generative modeling and introduce the Thermodynamic Kolmogorov-Arnold Model (T-KAM) as a new framework for incorporating structural and inductive biases. By constraining the prior to univariate relationships, T-KAM enables fast and exact inference via the inverse transform method. We also introduce a training strategy based on population-based LMC, which decomposes posterior sampling into a sequence of annealed distributions to improve multimodal exploration. We empirically demonstrate how inductive biases enable more efficient training strategies and compare our novel approaches to scaling and prior sampling. T-KAM provides an elegant balance among common trade-offs in generative modeling, offering fast inference, high sample quality, and stable training, while being naturally suited to upcoming Zettascale Computing Co. hardware and extendable to other high-impact research directions in generative intelligence.
• Abstract（参考訳）: トップダウン生成モデルの潜在空間におけるエネルギーベースモデル(EBM)の学習は、テキストと画像生成のための表現的かつ解釈可能なフレームワークを提供する。 しかし、モデル設計を指導し、生成品質を改善し、トレーニング時間を短縮するために、どのようにしてこの解釈が体系的に活用できるかは、まだ不明である。 さらに、Langevin Monte Carlo (LMC) サンプリングへの依存は、効率とマルチモーダル潜伏分布の探索における課題を示す。 本研究では、生成モデルのためのコルモゴロフ・アルノルド表現定理の新たな適応法を提案し、構造的および帰納的バイアスを組み込むための新しい枠組みとして熱力学コルモゴロフ・アルノルドモデル(T-KAM)を導入する。 単変量関係を制約することにより、T-KAMは逆変換法による高速かつ正確な推論を可能にする。 また,マルチモーダル探索を改善するために,後部サンプリングをアニール分布列に分解するLCCに基づくトレーニング戦略も導入した。 帰納バイアスがより効率的なトレーニング戦略を実現する方法を実証的に実証し、スケーリングと事前サンプリングに対する我々の新しいアプローチを比較します。 T-KAMは、ジェネレーティブモデリングにおける一般的なトレードオフのエレガントなバランスを提供し、高速推論、高いサンプル品質、安定したトレーニングを提供すると同時に、今後のZetascale Computing Co.のハードウェアに自然に適合し、ジェネレーティブインテリジェンスにおける他の高インパクト研究の方向性に拡張可能である。

関連論文リスト

• Kolmogorov-Arnold Networks for Time Series: Bridging Predictive Power and Interpretability [6.4314326272535896]
  Kolmogorov-Arnold Networks (KAN)は、最近MITチームが提案した画期的なモデルである。 Kanは時系列内の概念ドリフトを検知し、予測と過去の時間ステップの間の非線形関係を説明するように設計されている。 T-KANは、時系列内の概念ドリフトを検知し、予測と過去の時間ステップの間の非線形関係を説明するように設計されている。 一方,MT-KANは変数間の複雑な関係を効果的に発見・活用することで予測性能を向上させる。
  論文  参考訳（メタデータ） (2024-06-04T17:14:31Z)
• Adversarial Training Improves Joint Energy-Based Generative Modelling [1.0878040851638]
  本稿では,ハイブリッドエネルギーモデルを用いた生成モデリングのための新しいフレームワークを提案する。 本手法では,ロバストな分類器の解釈可能な入力勾配と,サンプリングのためのランゲヴィンダイナミクスを組み合わせる。
  論文  参考訳（メタデータ） (2022-07-18T21:30:03Z)
• An Energy-Based Prior for Generative Saliency [62.79775297611203]
  本稿では,情報的エネルギーベースモデルを事前分布として採用する,新たな生成正当性予測フレームワークを提案する。 生成サリエンシモデルを用いて,画像から画素単位の不確実性マップを得ることができ,サリエンシ予測におけるモデル信頼度を示す。 実験結果から, エネルギーベース先行モデルを用いた生成塩分率モデルでは, 精度の高い塩分率予測だけでなく, 人間の知覚と整合した信頼性の高い不確実性マップを実現できることが示された。
  論文  参考訳（メタデータ） (2022-04-19T10:51:00Z)
• A Unified Contrastive Energy-based Model for Understanding the Generative Ability of Adversarial Training [64.71254710803368]
  Adversarial Training (AT) は、ディープニューラルネットワークの堅牢性を高める効果的なアプローチである。 我々は、Contrastive Energy-based Models(CEM)と呼ばれる統合確率的枠組みを開発することにより、この現象をデミステレーションする。 本稿では,逆学習法とサンプリング法を開発するための原則的手法を提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:33:34Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Prediction-Centric Learning of Independent Cascade Dynamics from Partial Observations [13.680949377743392]
  本稿では,このモデルから生成された予測が正確であるような拡散モデルの学習の問題に対処する。 本稿では,スケーラブルな動的メッセージパッシング手法に基づく計算効率のよいアルゴリズムを提案する。 学習モデルからの抽出可能な推論は,元のモデルと比較して限界確率の予測精度がよいことを示す。
  論文  参考訳（メタデータ） (2020-07-13T17:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。