論文の概要: Kernel Stein Generative Modeling

• arxiv url: http://arxiv.org/abs/2007.03074v1
• Date: Mon, 6 Jul 2020 21:26:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 01:15:41.718678
• Title: Kernel Stein Generative Modeling
• Title（参考訳）: kernel stein 生成モデル
• Authors: Wei-Cheng Chang, Chun-Liang Li, Youssef Mroueh, Yiming Yang
• Abstract要約: グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。 Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。 雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
• 参考スコア（独自算出の注目度）: 68.03537693810972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We are interested in gradient-based Explicit Generative Modeling where samples can be derived from iterative gradient updates based on an estimate of the score function of the data distribution. Recent advances in Stochastic Gradient Langevin Dynamics (SGLD) demonstrates impressive results with energy-based models on high-dimensional and complex data distributions. Stein Variational Gradient Descent (SVGD) is a deterministic sampling algorithm that iteratively transports a set of particles to approximate a given distribution, based on functional gradient descent that decreases the KL divergence. SVGD has promising results on several Bayesian inference applications. However, applying SVGD on high dimensional problems is still under-explored. The goal of this work is to study high dimensional inference with SVGD. We first identify key challenges in practical kernel SVGD inference in high-dimension. We propose noise conditional kernel SVGD (NCK-SVGD), that works in tandem with the recently introduced Noise Conditional Score Network estimator. NCK is crucial for successful inference with SVGD in high dimension, as it adapts the kernel to the noise level of the score estimate. As we anneal the noise, NCK-SVGD targets the real data distribution. We then extend the annealed SVGD with an entropic regularization. We show that this offers a flexible control between sample quality and diversity, and verify it empirically by precision and recall evaluations. The NCK-SVGD produces samples comparable to GANs and annealed SGLD on computer vision benchmarks, including MNIST and CIFAR-10.
• Abstract（参考訳）: 我々は,データ分布のスコア関数の推定に基づく反復的勾配更新からサンプルを導出できる,勾配に基づく明示的生成モデルに興味を持っている。 Stochastic Gradient Langevin Dynamics (SGLD)の最近の進歩は、高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示している。 スタイン変分勾配降下(svgd)は、klの発散を減少させる関数的勾配降下に基づいて、与えられた分布を近似するために粒子の集合を反復的に輸送する決定論的サンプリングアルゴリズムである。 SVGDはいくつかのベイズ推論アプリケーションで有望な結果を得た。 しかし、SVGDを高次元問題に適用することはまだ未定である。 本研究の目的は,SVGDを用いた高次元推論の研究である。 まず,高次元における実用カーネルsvgd推論の重要な課題を明らかにする。 本稿では,最近導入されたノイズ条件スコアネットワーク推定器と協調して動作する雑音条件カーネルsvgd(nck-svgd)を提案する。 NCKは、スコア推定のノイズレベルにカーネルを適応させるため、SVGDの高次元での推論の成功に不可欠である。 NCK-SVGD は実データ分布を目標としている。 熱処理したSVGDをエントロピー正則化で拡張する。 サンプル品質と多様性を柔軟に制御できることを示し,精度とリコール評価によって実証的に検証する。 NCK-SVGDは、MNISTやCIFAR-10を含むコンピュータビジョンベンチマークで、GANと同等のサンプルを生成し、SGLDをアニールした。

関連論文リスト

• Stein Variational Evolution Strategies [17.315583101484147]
  非正規化確率分布から高効率なサンプリング法として, SVGD法(Stein Variational Gradient Descent)がある。 既存の SVGD の勾配のないバージョンは、単純なモンテカルロ近似や、サロゲート分布からの勾配を利用しており、どちらも制限がある。 SVGDのステップと進化戦略(ES)の更新を組み合わせて、勾配のないスタイン変分推論を改善する。
  論文  参考訳（メタデータ） (2024-10-14T11:24:41Z)
• ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining [104.34751911174196]
  ShapeNetとModelNetを用いた大規模3DGSデータセットを構築した。 データセットのShapeSplatは、87のユニークなカテゴリから65Kのオブジェクトで構成されています。 textbftextitGaussian-MAEを導入し、ガウスパラメータからの表現学習の独特な利点を強調した。
  論文  参考訳（メタデータ） (2024-08-20T14:49:14Z)
• Long-time asymptotics of noisy SVGD outside the population limit [9.2081159465248]
  我々はStein Variational Gradient Descent (SVGD) の雑音変動の長時間挙動について検討した。 特に、ノイズSVGDは、SVGDで観測される分散崩壊を確実に回避する。 我々のアプローチは、ノイズの多いSVGDの軌道がマッケイン・ブラソフ過程によって記述された軌道とよく似ていることを示すものである。
  論文  参考訳（メタデータ） (2024-06-17T13:00:51Z)
• Consistent3D: Towards Consistent High-Fidelity Text-to-3D Generation with Deterministic Sampling Prior [87.55592645191122]
  スコア蒸留サンプリング(SDS)とその変種は、テキスト・ツー・3D世代の発展を大幅に加速させたが、幾何崩壊やテクスチャの低下に弱い。 テキストから3D生成に先立ってODE決定論的サンプリングを探索する新しい「一貫性3D」手法を提案する。 実験により,高忠実で多様な3Dオブジェクトと大規模シーンの生成にConsistent3Dの有効性が示された。
  論文  参考訳（メタデータ） (2024-01-17T08:32:07Z)
• Provably Fast Finite Particle Variants of SVGD via Virtual Particle Stochastic Approximation [9.065034043031668]
  SVGD(Stein Variational Gradient Descent)は、相互作用する粒子系をターゲット分布からおよそサンプルにシミュレートする一般的な変分推論である。 仮想粒子の概念を導入し、確率測度空間における集団限界ダイナミクスの新たな近似を開発する。 VP-SVGD と GB-SVGD によって出力される$n$パーティクルは、バッチサイズ$K$で$T$のステップで実行されるが、ターゲットに対する Kernel Stein Disrepancy が少なくとも $Oleft(tfrac) であるような分布からの i.i.d サンプルと同程度であることを示す。
  論文  参考訳（メタデータ） (2023-05-27T19:21:28Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• A stochastic Stein Variational Newton method [7.272730677575111]
  SSVN(Stein variational Newton)は,高精度ベイズ推論タスクを高速化するための有望なアプローチであることを示す。 本アルゴリズムは, ハイブリッドローゼンブロック密度 (Hybrid Rosenbrock density) という, 難解なテスト問題に対する有効性を示すとともに, sSVN がログ確率の3桁未満の精度で収束することを示す。
  論文  参考訳（メタデータ） (2022-04-19T17:57:36Z)
• Grassmann Stein Variational Gradient Descent [3.644031721554146]
  スタイン変分勾配降下(SVGD)は、マルコフ連鎖モンテカルロの効率的な代替となる決定論的粒子推論アルゴリズムである。 近年の進歩は、スコア関数とデータの両方を実際の行に投影してこの問題に対処することを提唱している。 任意の次元部分空間への射影を可能にする代替アプローチとして、グラスマンシュタイン変分勾配勾配(GSVGD)を提案する。
  論文  参考訳（メタデータ） (2022-02-07T15:36:03Z)
• Uncertainty Inspired RGB-D Saliency Detection [70.50583438784571]
  本稿では,データラベリングプロセスから学習することで,RGB-D値検出の不確実性を利用した最初のフレームワークを提案する。 そこで本研究では,確率的RGB-Dサリエンシ検出を実現するために,サリエンシデータラベリングプロセスにインスパイアされた生成アーキテクチャを提案する。 6つの挑戦的RGB-Dベンチマークデータセットの結果から,サリエンシマップの分布を学習する際のアプローチの優れた性能が示された。
  論文  参考訳（メタデータ） (2020-09-07T13:01:45Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。