論文の概要: Wasserstein proximal operators describe score-based generative models and resolve memorization

• arxiv url: http://arxiv.org/abs/2402.06162v1
• Date: Fri, 9 Feb 2024 03:33:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 18:07:06.644703
• Title: Wasserstein proximal operators describe score-based generative models and resolve memorization
• Title（参考訳）: wasserstein近位作用素はスコアに基づく生成モデルを説明し、記憶を解消する
• Authors: Benjamin J. Zhang, Siting Liu, Wuchen Li, Markos A. Katsoulakis, and Stanley J. Osher
• Abstract要約: We first formulate SGMs with terms of Wasserstein proximal operator (WPO) We show that WPO describe the inductive bias of diffusion and score-based model。 本稿では,SGMの性能を劇的に向上させる,スコア関数の解釈可能なカーネルベースモデルを提案する。
• 参考スコア（独自算出の注目度）: 12.321631823103894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We focus on the fundamental mathematical structure of score-based generative models (SGMs). We first formulate SGMs in terms of the Wasserstein proximal operator (WPO) and demonstrate that, via mean-field games (MFGs), the WPO formulation reveals mathematical structure that describes the inductive bias of diffusion and score-based models. In particular, MFGs yield optimality conditions in the form of a pair of coupled partial differential equations: a forward-controlled Fokker-Planck (FP) equation, and a backward Hamilton-Jacobi-Bellman (HJB) equation. Via a Cole-Hopf transformation and taking advantage of the fact that the cross-entropy can be related to a linear functional of the density, we show that the HJB equation is an uncontrolled FP equation. Second, with the mathematical structure at hand, we present an interpretable kernel-based model for the score function which dramatically improves the performance of SGMs in terms of training samples and training time. In addition, the WPO-informed kernel model is explicitly constructed to avoid the recently studied memorization effects of score-based generative models. The mathematical form of the new kernel-based models in combination with the use of the terminal condition of the MFG reveals new explanations for the manifold learning and generalization properties of SGMs, and provides a resolution to their memorization effects. Finally, our mathematically informed, interpretable kernel-based model suggests new scalable bespoke neural network architectures for high-dimensional applications.
• Abstract（参考訳）: 我々はスコアベース生成モデル(sgms)の基本数学的構造に注目した。 まず、ワッサーシュタイン近似作用素(WPO)を用いてSGMを定式化し、平均場ゲーム(MFG)を通して、WPOの定式化は拡散とスコアベースモデルの帰納バイアスを記述する数学的構造を明らかにする。 特に、MFGは、フォッカー・プランク方程式(FP)とハミルトン・ヤコビ・ベルマン方程式(HJB)という一対の結合された偏微分方程式の形で最適条件を生成する。 コールホップ変換を用いて、クロスエントロピーが密度の線型汎関数と関係できるという事実を利用して、HJB方程式が制御不能なFP方程式であることを示す。 第2に、数学的な構造を持つスコア関数の解釈可能なカーネルベースモデルを提案し、トレーニングサンプルとトレーニング時間の観点から、SGMの性能を劇的に改善する。 さらに,最近研究されているスコアベース生成モデルの記憶効果を回避するために,WPOインフォームドカーネルモデルを構築した。 MFGの終端条件と組み合わせた新しいカーネルベースモデルの数学的形式は、SGMの多様体学習と一般化特性に対する新しい説明を明らかにし、記憶効果の解決を提供する。 最後に、数学的に理解され、解釈可能なカーネルベースモデルにより、高次元アプリケーションのための新しいスケーラブルなベスポークニューラルネットワークアーキテクチャが提案される。

関連論文リスト

• Deep Koopman-layered Model with Universal Property Based on Toeplitz Matrices [26.96258010698567]
  提案モデルは理論的固さと柔軟性の両方を有する。 提案したモデルの柔軟性により、不規則な力学系から来る時系列データを適合させることができる。
  論文  参考訳（メタデータ） (2024-10-03T04:27:46Z)
• Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
  本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。 この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
  論文  参考訳（メタデータ） (2024-10-02T17:53:23Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• A mean-field games laboratory for generative modeling [5.837881923712394]
  平均場ゲーム(MFG)は、生成モデルの説明、拡張、設計のためのフレームワークである。 本稿では,MFGの最適条件について検討し,各生成モデルの数学的特性について検討する。 我々は,標準SGMよりも優れた性能を有するHJB正規化SGMを提案し,実演する。
  論文  参考訳（メタデータ） (2023-04-26T13:08:50Z)
• Generalized Neural Closure Models with Interpretability [28.269731698116257]
  我々は、統合された神経部分遅延微分方程式の新規で汎用的な方法論を開発した。 マルコフ型および非マルコフ型ニューラルネットワーク(NN)の閉包パラメータ化を用いて, 偏微分方程式(PDE)における既存/低忠実度力学モデルを直接拡張する。 本研究では, 非線形波動, 衝撃波, 海洋酸性化モデルに基づく4つの実験セットを用いて, 新しい一般化ニューラルクロージャモデル(gnCMs)の枠組みを実証する。
  論文  参考訳（メタデータ） (2023-01-15T21:57:43Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Kernel-Based Models for Influence Maximization on Graphs based on Gaussian Process Variance Minimization [9.357483974291899]
  グラフ上の新しい影響モデル(IM)の導入と検討を行う。 データ駆動アプローチは、このIMモデルの適切なカーネルを決定するために適用することができる。 この分野でコストのかかるモンテカルロシミュレーションに依存するモデルと比較して、我々のモデルはシンプルでコスト効率のよい更新戦略を可能にする。
  論文  参考訳（メタデータ） (2021-03-02T08:55:34Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Estimation of sparse Gaussian graphical models with hidden clustering structure [8.258451067861932]
  隠れクラスタリング構造を持つスパースガウス図形モデルを推定するモデルを提案する。 対称なガウス・シーデルに基づく乗算器の交互方向法を開発した。 合成データと実データの両方に関する数値実験により,本モデルの有効性が示された。
  論文  参考訳（メタデータ） (2020-04-17T08:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。