論文の概要: The Hidden Linear Structure in Score-Based Models and its Application

• arxiv url: http://arxiv.org/abs/2311.10892v1
• Date: Fri, 17 Nov 2023 22:25:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 13:47:46.480731
• Title: The Hidden Linear Structure in Score-Based Models and its Application
• Title（参考訳）: スコアモデルにおける隠れ線形構造とその応用
• Authors: Binxu Wang, John J. Vastola
• Abstract要約: 十分に訓練された拡散モデルでは、高雑音スケールでの学習スコアはガウスの線形スコアによってよく近似されることを示す。 スコアベースモデルにおける線形構造の発見は、より良いモデル設計とデータ前処理に影響を及ぼす。
• 参考スコア（独自算出の注目度）: 2.1756081703276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Score-based models have achieved remarkable results in the generative modeling of many domains. By learning the gradient of smoothed data distribution, they can iteratively generate samples from complex distribution e.g. natural images. However, is there any universal structure in the gradient field that will eventually be learned by any neural network? Here, we aim to find such structures through a normative analysis of the score function. First, we derived the closed-form solution to the scored-based model with a Gaussian score. We claimed that for well-trained diffusion models, the learned score at a high noise scale is well approximated by the linear score of Gaussian. We demonstrated this through empirical validation of pre-trained images diffusion model and theoretical analysis of the score function. This finding enabled us to precisely predict the initial diffusion trajectory using the analytical solution and to accelerate image sampling by 15-30\% by skipping the initial phase without sacrificing image quality. Our finding of the linear structure in the score-based model has implications for better model design and data pre-processing.
• Abstract（参考訳）: スコアベースモデルは多くの領域の生成モデリングにおいて顕著な結果を得た。 滑らかなデータ分布の勾配を学習することで、自然画像などの複雑な分布からサンプルを反復的に生成することができる。 しかし、任意のニューラルネットワークによって最終的に学習される勾配場に普遍的な構造はあるだろうか? ここでは、スコア関数の規範的解析を通してそのような構造を求める。 まず、ガウススコアを用いたスコアベースモデルに閉形式解を導出した。 我々は, よく訓練された拡散モデルでは, 高雑音スケールでの学習スコアはガウスの線形スコアによく近似していると主張した。 本研究では、事前学習画像拡散モデルの実証検証とスコア関数の理論解析によりこれを実証した。 これにより,解析解を用いて初期拡散軌道を正確に予測し,画像品質を犠牲にすることなく初期位相をスキップすることで,画像サンプリングを15～30%高速化できる。 スコアベースモデルにおける線形構造の発見は,モデル設計とデータ前処理の改善に寄与する。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization [45.72323731094864]
  本稿では,2層ニューラルネットワークを用いた拡散モデル解析のための理論的枠組みを提案する。 我々は,1つの凸プログラムを解くことで,スコア予測のための浅層ニューラルネットワークのトレーニングが可能であることを証明した。 本結果は, ニューラルネットワークに基づく拡散モデルが漸近的でない環境で何を学習するかを, 正確に評価するものである。
  論文  参考訳（メタデータ） (2024-02-03T00:20:25Z)
• Neural Network-Based Score Estimation in Diffusion Models: Optimization and Generalization [12.812942188697326]
  拡散モデルは、忠実さ、柔軟性、堅牢性を改善した高品質なサンプルを生成する際に、GANと競合する強力なツールとして登場した。 これらのモデルの主要な構成要素は、スコアマッチングを通じてスコア関数を学ぶことである。 様々なタスクにおいて経験的な成功にもかかわらず、勾配に基づくアルゴリズムが証明可能な精度でスコア関数を学習できるかどうかは不明である。
  論文  参考訳（メタデータ） (2024-01-28T08:13:56Z)
• Deep Networks as Denoising Algorithms: Sample-Efficient Learning of Diffusion Models in High-Dimensional Graphical Models [22.353510613540564]
  生成モデルにおけるディープニューラルネットワークによるスコア関数の近似効率について検討する。 楽譜関数はしばしば変分推論法を用いてグラフィカルモデルでよく近似される。 深層ニューラルネットワークによってスコア関数が学習されるとき,拡散に基づく生成モデルに縛られた効率的なサンプル複雑性を提供する。
  論文  参考訳（メタデータ） (2023-09-20T15:51:10Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• From Denoising Diffusions to Denoising Markov Models [38.33676858989955]
  デノイング拡散は、顕著な経験的性能を示す最先端の生成モデルである。 本稿では、この手法を広い範囲に一般化し、スコアマッチングのオリジナル拡張につながる統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-07T14:34:27Z)
• Score-based diffusion models for accelerated MRI [35.3148116010546]
  本研究では,画像中の逆問題を容易に解けるような条件分布からデータをサンプリングする方法を提案する。 我々のモデルは、訓練のためにのみ等級画像を必要とするが、複雑な値のデータを再構成することができ、さらに並列画像まで拡張できる。
  論文  参考訳（メタデータ） (2021-10-08T08:42:03Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。