論文の概要: Score-based Diffusion Models in Function Space

• arxiv url: http://arxiv.org/abs/2302.07400v2
• Date: Wed, 22 Nov 2023 19:17:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 04:43:46.369771
• Title: Score-based Diffusion Models in Function Space
• Title（参考訳）: 関数空間におけるスコアベース拡散モデル
• Authors: Jae Hyun Lim, Nikola B. Kovachki, Ricardo Baptista, Christopher Beckham, Kamyar Azizzadenesheli, Jean Kossaifi, Vikram Voleti, Jiaming Song, Karsten Kreis, Jan Kautz, Christopher Pal, Arash Vahdat, Anima Anandkumar
• Abstract要約: 拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
• 参考スコア（独自算出の注目度）: 140.792362459734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have recently emerged as a powerful framework for generative modeling. They consist of a forward process that perturbs input data with Gaussian white noise and a reverse process that learns a score function to generate samples by denoising. Despite their tremendous success, they are mostly formulated on finite-dimensional spaces, e.g. Euclidean, limiting their applications to many domains where the data has a functional form such as in scientific computing and 3D geometric data analysis. In this work, we introduce a mathematically rigorous framework called Denoising Diffusion Operators (DDOs) for training diffusion models in function space. In DDOs, the forward process perturbs input functions gradually using a Gaussian process. The generative process is formulated by integrating a function-valued Langevin dynamic. Our approach requires an appropriate notion of the score for the perturbed data distribution, which we obtain by generalizing denoising score matching to function spaces that can be infinite-dimensional. We show that the corresponding discretized algorithm generates accurate samples at a fixed cost that is independent of the data resolution. We theoretically and numerically verify the applicability of our approach on a set of problems, including generating solutions to the Navier-Stokes equation viewed as the push-forward distribution of forcings from a Gaussian Random Field (GRF).
• Abstract（参考訳）: 拡散モデルは最近、生成的モデリングの強力なフレームワークとして登場した。 これらはガウスホワイトノイズで入力データを摂動する前処理と、スコア関数を学習してサンプルを生成する逆処理から構成される。 その大きな成功にもかかわらず、ユークリッドのような有限次元空間で定式化され、科学計算や3次元幾何データ解析のような機能的な形式を持つ多くの領域にその応用を制限している。 本研究では,関数空間における拡散モデルを訓練するための数理的厳密なフレームワークであるdenoising diffusion operators (ddos)を提案する。 DDOでは、フォワードプロセスはガウス過程を用いて徐々に入力関数を摂動する。 生成過程は、関数値ランゲヴィンダイナミクスを統合することによって定式化される。 この手法には摂動データ分布に対するスコアの適切な概念が必要であり、無限次元の関数空間に一致する denoising score を一般化することで得られる。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。 我々は,ガウスランダム場(GRF)から強制力のプッシュフォワード分布と見なされるNavier-Stokes方程式に対する解の生成を含む,一連の問題に対する我々のアプローチの適用性について理論的に数値的に検証する。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Diffusion models for Gaussian distributions: Exact solutions and Wasserstein errors [0.0]
  拡散モデルやスコアベースモデルでは画像生成の性能が向上した。 本研究では,データ分布がガウス的である場合の拡散モデルの挙動とその数値的実装について理論的に検討する。
  論文  参考訳（メタデータ） (2024-05-23T07:28:56Z)
• Weak Collocation Regression for Inferring Stochastic Dynamics with L\'{e}vy Noise [8.15076267771005]
  本稿では,L'evyノイズを伴う力学を抽出するためのFokker-Planck(FP)方程式の弱い形式を提案する。 本手法は,多次元問題においても混合雑音を同時に識別することができる。
  論文  参考訳（メタデータ） (2024-03-13T06:54:38Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Learning to Bound Counterfactual Inference in Structural Causal Models from Observational and Randomised Data [64.96984404868411]
  我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。 新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。 反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
  論文  参考訳（メタデータ） (2022-12-06T12:42:11Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Probabilistic Registration for Gaussian Process 3D shape modelling in the presence of extensive missing data [63.8376359764052]
  本稿では,ガウス過程の定式化に基づく形状適合/登録手法を提案する。 様々な変換を持つ2次元の小さなデータセットと耳の3次元データセットの両方で実験が行われる。
  論文  参考訳（メタデータ） (2022-03-26T16:48:27Z)
• Inference and De-Noising of Non-Gaussian Particle Distribution Functions: A Generative Modeling Approach [0.0]
  数値シミュレーションによって生成されたデータに対する推測は、一般に、粒子分布関数を回復するためにデータを結合する。 ここでは、正規化フローを用いて、雑音粒子分布関数に対する滑らかでトラクタブルな近似を学習する。
  論文  参考訳（メタデータ） (2021-10-05T16:38:04Z)
• Weak SINDy For Partial Differential Equations [0.0]
  我々はWeak SINDy(WSINDy)フレームワークを偏微分方程式(PDE)の設定にまで拡張する。 弱い形状による点微分近似の除去は、ノイズフリーデータからモデル係数の効率的な機械的精度回復を可能にする。 我々は、いくつかの挑戦的なPDEに対して、WSINDyの堅牢性、速度、精度を実証する。
  論文  参考訳（メタデータ） (2020-07-06T16:03:51Z)
• The Random Feature Model for Input-Output Maps between Banach Spaces [6.282068591820945]
  ランダム特徴モデルは、カーネルまたは回帰法に対するパラメトリック近似である。 本稿では、入力バナッハ空間を出力バナッハ空間にマッピングする演算子のためのデータ駆動サロゲートとしてランダム特徴モデルを使用する手法を提案する。
  論文  参考訳（メタデータ） (2020-05-20T17:41:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。