論文の概要: Nearest Neighbour Score Estimators for Diffusion Generative Models

• arxiv url: http://arxiv.org/abs/2402.08018v1
• Date: Mon, 12 Feb 2024 19:27:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 17:40:50.327658
• Title: Nearest Neighbour Score Estimators for Diffusion Generative Models
• Title（参考訳）: 拡散生成モデルにおける最近近傍スコア推定器
• Authors: Matthew Niedoba, Dylan Green, Saeid Naderiparizi, Vasileios Lioutas, Jonathan Wilder Lavington, Xiaoxuan Liang, Yunpeng Liu, Ke Zhang, Setareh Dabiri, Adam \'Scibior, Berend Zwartsenberg, Frank Wood
• Abstract要約: トレーニングセットから複数のサンプルを抽出し,推定値の分散を劇的に低減する新しい近傍スコア関数推定器を提案する。 拡散モデルでは,確率フローODE統合のための学習ネットワークを推定器で置き換えることができ,将来的な研究の新たな道が開かれる。
• 参考スコア（独自算出の注目度）: 17.432400614303585
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Score function estimation is the cornerstone of both training and sampling from diffusion generative models. Despite this fact, the most commonly used estimators are either biased neural network approximations or high variance Monte Carlo estimators based on the conditional score. We introduce a novel nearest neighbour score function estimator which utilizes multiple samples from the training set to dramatically decrease estimator variance. We leverage our low variance estimator in two compelling applications. Training consistency models with our estimator, we report a significant increase in both convergence speed and sample quality. In diffusion models, we show that our estimator can replace a learned network for probability-flow ODE integration, opening promising new avenues of future research.
• Abstract（参考訳）: スコア関数推定は拡散生成モデルからのトレーニングとサンプリングの両方の基礎となる。 この事実にもかかわらず、最もよく使われる推定器は、バイアス付きニューラルネットワーク近似または条件スコアに基づく高分散モンテカルロ推定器である。 トレーニングセットから複数のサンプルを用いて推定値の分散を劇的に低減する新しい近接スコア関数推定器を提案する。 低分散推定器を2つの説得力のある応用に活用する。 推定器による整合性モデルの訓練を行い, 収束速度と試料品質の両面で有意な増加が報告された。 拡散モデルでは,確率フローODE統合のための学習ネットワークを置き換えることが可能であり,将来的な研究の新たな道が開かれる。

関連論文リスト

• Dimension-free Score Matching and Time Bootstrapping for Diffusion Models [11.743167854433306]
  拡散モデルは、様々な雑音レベルにおける対象分布のスコア関数を推定してサンプルを生成する。 本研究では,これらのスコア関数を学習するために,次元自由なサンプル境界の複雑性を初めて(ほぼ)確立する。 我々の分析の重要な側面は、ノイズレベル間でのスコアを共同で推定する単一関数近似器を使用することである。
  論文  参考訳（メタデータ） (2025-02-14T18:32:22Z)
• Generative Modeling with Bayesian Sample Inference [50.07758840675341]
  我々はガウス的後代推論の単純な作用から新しい生成モデルを導出する。 生成したサンプルを未知変数として推論することで、ベイズ確率の言語でサンプリングプロセスを定式化する。 我々のモデルは、未知のサンプルを広い初期信念から絞り込むために、一連の予測と後続の更新ステップを使用する。
  論文  参考訳（メタデータ） (2025-02-11T14:27:10Z)
• The Unreasonable Effectiveness of Gaussian Score Approximation for Diffusion Models and its Applications [1.8416014644193066]
  学習したニューラルスコアと2種類の抽出可能な分布のスコアを比較した。 学習したニューラルスコアは、中等度から高雑音スケールに対する線形(ガウス)近似によって支配される。 その結果,試料品質を維持しつつ,最初の15～30%のサンプリングステップをスキップできることがわかった。
  論文  参考訳（メタデータ） (2024-12-12T21:31:27Z)
• On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates [5.13323375365494]
  我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。 スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。 この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
  論文  参考訳（メタデータ） (2023-11-22T18:40:45Z)
• A Statistical Model for Predicting Generalization in Few-Shot Classification [6.158812834002346]
  一般化誤差を予測するために,特徴分布のガウスモデルを導入する。 提案手法は, 相互検証戦略の離脱など, 代替案よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-13T10:21:15Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)
• Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
  我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。 推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。