論文の概要: Continuous-Time Functional Diffusion Processes

• arxiv url: http://arxiv.org/abs/2303.00800v2
• Date: Fri, 7 Jul 2023 14:55:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 15:34:36.213950
• Title: Continuous-Time Functional Diffusion Processes
• Title（参考訳）: 連続時間機能拡散プロセス
• Authors: Giulio Franzese, Giulio Corallo, Simone Rossi, Markus Heinonen, Maurizio Filippone, Pietro Michiardi
• Abstract要約: 無限次元関数空間へのスコアベース拡散モデルを一般化する関数拡散過程(FDP)を導入する。 FDPには、前方と後方のダイナミクスを記述するための新しいフレームワークと、実践的なトレーニング目標を導出するためのいくつかの拡張が必要です。
• 参考スコア（独自算出の注目度）: 25.761419055306174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Functional Diffusion Processes (FDPs), which generalize score-based diffusion models to infinite-dimensional function spaces. FDPs require a new mathematical framework to describe the forward and backward dynamics, and several extensions to derive practical training objectives. These include infinite-dimensional versions of Girsanov theorem, in order to be able to compute an ELBO, and of the sampling theorem, in order to guarantee that functional evaluations in a countable set of points are equivalent to infinite-dimensional functions. We use FDPs to build a new breed of generative models in function spaces, which do not require specialized network architectures, and that can work with any kind of continuous data. Our results on real data show that FDPs achieve high-quality image generation, using a simple MLP architecture with orders of magnitude fewer parameters than existing diffusion models.
• Abstract（参考訳）: 得点に基づく拡散モデルを無限次元関数空間に一般化する関数拡散過程(fdps)を導入する。 fdpは、前方と後方のダイナミクスを記述するための新しい数学的枠組みと、実践的なトレーニング目標を導出するためのいくつかの拡張を必要とする。 これには、エルボの計算を可能にするためのギルサノフの定理の無限次元バージョンや、点の可算集合における関数評価が無限次元関数と同値であることを保証するためのサンプリング定理が含まれる。 我々は、fdpsを使って関数空間における新しい種類の生成モデルを構築し、特殊なネットワークアーキテクチャを必要としず、あらゆる種類の連続データを扱うことができる。 実データを用いた結果,FDP は既存の拡散モデルよりも桁違いのパラメータを持つ単純な MLP アーキテクチャを用いて,高品質な画像生成を実現することがわかった。

関連論文リスト

• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Functional Flow Matching [14.583771853250008]
  本稿では,最近導入されたフローマッチングモデルを一般化した関数空間生成モデルを提案する。 我々の手法は確率やシミュレーションに頼らず、関数空間の設定に適している。 我々は,FFM法が最近提案した関数空間生成モデルより優れていることを示す実世界のベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-26T19:07:47Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• A Multi-Resolution Framework for U-Nets with Applications to Hierarchical VAEs [29.995904718691204]
  無限次元関数空間上のモデルの有限次元切り込みとしてU-Netを識別する多分解能フレームワークを定式化する。 次に、我々のフレームワークを活用して、U-Netアーキテクチャを持つ最先端階層型VAE(HVAE)を特定します。
  論文  参考訳（メタデータ） (2023-01-19T17:33:48Z)
• Learning PSD-valued functions using kernel sums-of-squares [94.96262888797257]
  PSDコーンの値を取る関数に対して,カーネルの総和モデルを導入する。 PSD関数の普遍近似を構成することを示し、サブサンプル等式制約の場合の固有値境界を導出する。 次に、この結果を凸関数のモデル化に応用し、ヘッセンのカーネル和-二乗表現を強制する。
  論文  参考訳（メタデータ） (2021-11-22T16:07:50Z)
• Modern Non-Linear Function-on-Function Regression [8.231050911072755]
  本稿では,ニューラルネットワークを用いた関数データに対する非線形関数オン関数回帰モデルを提案する。 FDNN(Functional Direct Neural Network)とFBNN(Functional Basis Neural Network)の2つのモデルフィッティング戦略を提案する。
  論文  参考訳（メタデータ） (2021-07-29T16:19:59Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Compressing Deep ODE-Nets using Basis Function Expansions [105.05435207079759]
  重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。 この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。 これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
  論文  参考訳（メタデータ） (2021-06-21T03:04:51Z)
• High-dimensional Functional Graphical Model Structure Learning via Neighborhood Selection Approach [15.334392442475115]
  機能的グラフィカルモデルの構造を推定するための近傍選択手法を提案する。 したがって、関数が無限次元であるときに存在しないような、明確に定義された精度作用素の必要性を回避することができる。
  論文  参考訳（メタデータ） (2021-05-06T07:38:50Z)
• Learning Sub-Patterns in Piecewise Continuous Functions [4.18804572788063]
  ほとんどの勾配降下アルゴリズムは、パラメータでサブ微分可能なニューラルネットワークを最適化することができる。 本稿では,異なるサブパターンから不連続が生じる場合に焦点を当てる。 分離された2段階の手順でトレーニング可能な,不連続なディープニューラルネットワークモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-29T13:44:13Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。