論文の概要: Closed-Form Diffusion Models

• arxiv url: http://arxiv.org/abs/2310.12395v2
• Date: Sun, 26 Jan 2025 17:07:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:52:38.297032
• Title: Closed-Form Diffusion Models
• Title（参考訳）: 閉形拡散モデル
• Authors: Christopher Scarvelis, Haitz Sáez de Ocáriz Borde, Justin Solomon,
• Abstract要約: 目標分布からのスコアベース生成モデル(SGM)は、目標のスコア関数を用いて反復的に雑音を変換することによってサンプリングされる。 任意の有限トレーニングセットに対して、このスコア関数はクローズドな形式で評価できるが、結果のSGMはそのトレーニングデータを記憶し、新しいサンプルを生成することはない。 そこで本研究では,そのスコア関数の最適近傍推定器を提案する。
• 参考スコア（独自算出の注目度）: 14.20871291924173
• License:
• Abstract: Score-based generative models (SGMs) sample from a target distribution by iteratively transforming noise using the score function of the perturbed target. For any finite training set, this score function can be evaluated in closed form, but the resulting SGM memorizes its training data and does not generate novel samples. In practice, one approximates the score by training a neural network via score-matching. The error in this approximation promotes generalization, but neural SGMs are costly to train and sample, and the effective regularization this error provides is not well-understood theoretically. In this work, we instead explicitly smooth the closed-form score to obtain an SGM that generates novel samples without training. We analyze our model and propose an efficient nearest-neighbor-based estimator of its score function. Using this estimator, our method achieves competitive sampling times while running on consumer-grade CPUs.
• Abstract（参考訳）: 摂動対象のスコア関数を用いた雑音の反復変換による目標分布からのスコアベース生成モデル(SGM)のサンプリング 任意の有限トレーニングセットに対して、このスコア関数はクローズドな形式で評価できるが、結果のSGMはそのトレーニングデータを記憶し、新しいサンプルを生成することはない。 実際には、スコアマッチングを通じてニューラルネットワークをトレーニングすることでスコアを近似する。 この近似の誤差は一般化を促進するが、神経SGMは訓練とサンプリングにコストがかかり、この誤差が提供する効果的な正規化は理論的には十分に理解されていない。 そこで本研究では, 学習せずに新しいサンプルを生成するSGMを得るために, クローズドフォームスコアを円滑に行う。 我々は,本モデルを分析し,そのスコア関数の最適近傍推定器を提案する。 この推定器を用いて、コンシューマグレードのCPU上で動作しながら、競合するサンプリング時間を達成する。

関連論文リスト

• Dimension-free Score Matching and Time Bootstrapping for Diffusion Models [11.743167854433306]
  拡散モデルは、様々な雑音レベルにおける対象分布のスコア関数を推定してサンプルを生成する。 本研究では,これらのスコア関数を学習するために,次元自由なサンプル境界の複雑性を初めて(ほぼ)確立する。 我々の分析の重要な側面は、ノイズレベル間でのスコアを共同で推定する単一関数近似器を使用することである。
  論文  参考訳（メタデータ） (2025-02-14T18:32:22Z)
• The Unreasonable Effectiveness of Gaussian Score Approximation for Diffusion Models and its Applications [1.8416014644193066]
  学習したニューラルスコアと2種類の抽出可能な分布のスコアを比較した。 学習したニューラルスコアは、中等度から高雑音スケールに対する線形(ガウス)近似によって支配される。 その結果,試料品質を維持しつつ,最初の15～30%のサンプリングステップをスキップできることがわかった。
  論文  参考訳（メタデータ） (2024-12-12T21:31:27Z)
• Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
  テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。 本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。 本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T03:33:39Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Score Mismatching for Generative Modeling [4.413162309652114]
  そこで我々は,一段階サンプリングを用いた新しいスコアベースモデルを提案する。 我々は、スコアネットワークから逆転した勾配で全ての時間ステップを圧縮するようにスタンドアロンのジェネレータを訓練する。 生成器に有意義な勾配を与えるため、スコアネットワークは実データ分布を同時にマッチングし、偽データ分布を誤マッチするように訓練される。
  論文  参考訳（メタデータ） (2023-09-20T03:47:12Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Proposal of a Score Based Approach to Sampling Using Monte Carlo Estimation of Score and Oracle Access to Target Density [0.0]
  スコアに基づくサンプリングアプローチは、初期サンプルのプールが与えられた場合、ターゲット密度から新しいサンプルを生成するための生成的アプローチとして成功している。 初期ターゲットのブラックボックスモデルが示されていないか、むしろ$0と$1の価格で検討する。
  論文  参考訳（メタデータ） (2022-12-06T20:56:39Z)
• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。