Fugu-MT 論文翻訳(概要): DDIM Redux: Mathematical Foundation and Some Extension

論文の概要: DDIM Redux: Mathematical Foundation and Some Extension

arxiv url: http://arxiv.org/abs/2408.07285v1
Date: Sat, 3 Aug 2024 02:55:49 GMT
ステータス: 処理完了
システム内更新日: 2024-08-19 03:47:26.529682
Title: DDIM Redux: Mathematical Foundation and Some Extension
Title（参考訳）: DDIM Redux: 数学的基礎といくつかの拡張
Authors: Manhyung Han,
Abstract要約: このノートは、一般化拡散型暗黙的モデル(gDDIM)の基礎となる数学的概念の批判的レビューを提供する。確率フローODEにおける逆軌道の正確な表現を含む拡張された数学的結果を示す。我々は、主軸DDIM(paDDIM)と呼ばれるDDIMの新しいスキームを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: This note provides a critical review of the mathematical concepts underlying the generalized diffusion denoising implicit model (gDDIM) and the exponential integrator (EI) scheme. We present enhanced mathematical results, including an exact expression for the reverse trajectory in the probability flow ODE and an exact expression for the covariance matrix in the gDDIM scheme. Furthermore, we offer an improved understanding of the EI scheme's efficiency in terms of the change of variables. The noising process in DDIM is analyzed from the perspective of non-equilibrium statistical physics. Additionally, we propose a new scheme for DDIM, called the principal-axis DDIM (paDDIM).
Abstract（参考訳）: このノートは、一般化拡散復号化暗黙モデル(gDDIM)と指数積分器(EI)スキームの基礎となる数学的概念の批判的なレビューを提供する。本稿では,確率フローODEにおける逆軌道の正確な表現や,gDDIMスキームにおける共分散行列の正確な表現を含む数学的結果を示す。さらに、変数の変化の観点から、EIスキームの効率性を改良した理解を提供する。 DDIMにおけるノイズ発生過程は、非平衡統計物理学の観点から解析される。さらに,主軸DDIM(paDDIM)と呼ばれるDDIMの新しい手法を提案する。

関連論文リスト

A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文参考訳（メタデータ） (2024-10-14T12:10:06Z)
On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
論文参考訳（メタデータ） (2024-10-11T18:02:46Z)
Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
論文参考訳（メタデータ） (2023-02-07T10:51:53Z)
Toward Equation of Motion for Deep Neural Networks: Continuous-time Gradient Descent and Discretization Error Analysis [5.71097144710995]
我々はディープニューラルネットワーク(DNN)のための「運動方程式」(EoM)を導出し、解く。 EoM は GD の離散学習力学を正確に記述した連続微分方程式である。
論文参考訳（メタデータ） (2022-10-28T05:13:50Z)
Stochastic Mirror Descent in Average Ensemble Models [38.38572705720122]
ミラー降下 (SMD) はトレーニングアルゴリズムの一般的なクラスであり、特別な場合として、祝い勾配降下 (SGD) を含む。本稿では,平均場アンサンブルモデルにおけるミラーポテンシャルアルゴリズムの性能について検討する。
論文参考訳（メタデータ） (2022-10-27T11:04:00Z)
Rigorous dynamical mean field theory for stochastic gradient descent methods [17.90683687731009]
一階勾配法の一家系の正確な高次元に対する閉形式方程式を証明した。これには勾配降下(SGD)やネステロフ加速度などの広く使われているアルゴリズムが含まれる。
論文参考訳（メタデータ） (2022-10-12T21:10:55Z)
gDDIM: Generalized denoising diffusion implicit models [15.877673959068455]
拡散暗黙モデル(DDIM)を等方的拡散に加えて一般拡散モデル(DM)に拡張する。我々は2つの非等方性DMにおいて20倍以上の加速を観測した。 CIFAR10のFIDスコアは2.26で,NFEは50点,NFEは27点,FIDスコアは2.86点であった。
論文参考訳（メタデータ） (2022-06-11T16:57:23Z)
Low-Discrepancy Points via Energetic Variational Inference [5.936959130012709]
本稿では,カーネルの不一致を最小限に抑えて,決定論的変分推論手法を提案し,低差分点を生成する。得られたアルゴリズムをEVI-MMDと命名し、対象分布が完全に特定された例を通して実演する。その性能は、分布近似、数値積分、生成学習の応用における代替手法と比較して満足できる。
論文参考訳（メタデータ） (2021-11-21T03:09:07Z)
On Mean Absolute Error for Deep Neural Network Based Vector-to-Vector Regression [79.86233860519621]
我々は,ディープニューラルネットワーク(DNN)に基づくベクトル-ベクトル回帰の損失関数として,平均絶対誤差(MAE)の特性を利用する。我々は,MAEをラプラシアン分布によってモデル化された誤差として解釈できることを示す。
論文参考訳（メタデータ） (2020-08-12T22:41:26Z)
Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文参考訳（メタデータ） (2020-07-07T10:05:01Z)
A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。