論文の概要: Explicit Density Approximation for Neural Implicit Samplers Using a Bernstein-Based Convex Divergence
- arxiv url: http://arxiv.org/abs/2506.04700v1
- Date: Thu, 05 Jun 2025 07:21:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-06 21:53:49.581883
- Title: Explicit Density Approximation for Neural Implicit Samplers Using a Bernstein-Based Convex Divergence
- Title（参考訳）: Bernstein-based Convex Divergence を用いたニューラルインプリシトサンプリングの明示的密度近似
- Authors: José Manuel de Frutos, Manuel A. Vázquez, Pablo M. Olmos, Joaquín Míguez,
- Abstract要約: 暗黙的な生成モデルをトレーニングするための新しい可能性のない目的である二重ISLを導入する。
これらの理論上の優位性は実践的なものへと変換される。
- 参考スコア（独自算出の注目度）: 3.2988338821464245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Rank-based statistical metrics, such as the invariant statistical loss (ISL), have recently emerged as robust and practically effective tools for training implicit generative models. In this work, we introduce dual-ISL, a novel likelihood-free objective for training implicit generative models that interchanges the roles of the target and model distributions in the ISL framework, yielding a convex optimization problem in the space of model densities. We prove that the resulting rank-based discrepancy $d_K$ is i) continuous under weak convergence and with respect to the $L^1$ norm, and ii) convex in its first argument-properties not shared by classical divergences such as KL or Wasserstein distances. Building on this, we develop a theoretical framework that interprets $d_K$ as an $L^2$-projection of the density ratio $q = p/\tilde p$ onto a Bernstein polynomial basis, from which we derive exact bounds on the truncation error, precise convergence rates, and a closed-form expression for the truncated density approximation. We further extend our analysis to the multivariate setting via random one-dimensional projections, defining a sliced dual-ISL divergence that retains both convexity and continuity. We empirically show that these theoretical advantages translate into practical ones. Specifically, across several benchmarks dual-ISL converges more rapidly, delivers markedly smoother and more stable training, and more effectively prevents mode collapse than classical ISL and other leading implicit generative methods-while also providing an explicit density approximation.
- Abstract（参考訳）: 変分統計損失(ISL)のようなランクに基づく統計指標は、暗黙的な生成モデルを訓練するための堅牢で実用的なツールとして最近登場した。
本稿では、ISLフレームワークにおけるターゲットとモデル分布の役割を交換し、モデル密度の空間における凸最適化問題を導出する暗黙的生成モデルをトレーニングするための、新しい可能性のない目標であるデュアルISLを紹介する。
結果のランクベースの不一致が$d_K$であることを証明する。
i)弱収束の下で連続し、かつ$L^1$ノルムに関して
i) KL や Wasserstein 距離のような古典的発散によって共有されない最初の引数-プロパティにおける凸。
これに基づいて、$d_K$を密度比$q = p/\tilde p$をベルンシュタイン多項式基底に射影する$L^2$-射影として解釈する理論的枠組みを開発し、そこからトランケーション誤差、正確な収束率、およびトランケート密度近似の閉形式式を導出する。
我々はさらに、凸性と連続性の両方を保持したスライスされた双対ISL発散を定義することにより、ランダムな一次元射影を通して多変量集合に解析を拡張した。
これらの理論上の利点が実践的なものへと変換されることを実証的に示す。
具体的には、いくつかのベンチマークにおいて、デュアルISLはより高速に収束し、よりスムーズで安定したトレーニングを提供し、古典的なISLや他の暗黙的な生成方法よりもモード崩壊を効果的に防止する一方で、明示的な密度近似も提供する。
関連論文リスト
- Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise [60.17850744118546]
Clip-SGDのようなクリッピングを持つ一階法は、$(L_$1)$-smoothnessの仮定の下でSGDよりも強い収束保証を示す。
Clip-SGD の高確率収束バウンダリを凸 $(L_$1)$-smooth の重み付き雑音による最適化に適用した最初の高確率収束バウンダリを確立する。
論文 参考訳（メタデータ） (2025-05-27T07:23:42Z) - Multi-Step Consistency Models: Fast Generation with Theoretical Guarantees [15.366598179769918]
所定時刻の入力を逆軌道に沿った任意の点にマッピングできる整合モデルの理論的解析を行う。
Oleft(logleft(fracdvarepsilonright) $ iterations for a constant step size。
我々は,スムーズかつ非スムーズな設定でも,小さな離散化ステップを用いて,正確な学習が実現可能であると結論付けた。
論文 参考訳（メタデータ） (2025-05-02T06:50:46Z) - Advancing Wasserstein Convergence Analysis of Score-Based Models: Insights from Discretization and Second-Order Acceleration [5.548787731232499]
スコアベース拡散モデルのワッサーシュタイン収束解析に着目する。
我々は、オイラー離散化、指数中点法、ランダム化法など、様々な離散化スキームを比較する。
局所線形化法に基づく加速型サンプリング器を提案する。
論文 参考訳（メタデータ） (2025-02-07T11:37:51Z) - Latent Schrodinger Bridge: Prompting Latent Diffusion for Fast Unpaired Image-to-Image Translation [58.19676004192321]
ノイズからの画像生成とデータからの逆変換の両方を可能にする拡散モデル (DM) は、強力な未ペア画像対イメージ(I2I)翻訳アルゴリズムにインスピレーションを与えている。
我々は、最小輸送コストの分布間の微分方程式(SDE)であるSchrodinger Bridges (SBs) を用いてこの問題に取り組む。
この観測に触発されて,SB ODE を予め訓練した安定拡散により近似する潜在シュロディンガー橋 (LSB) を提案する。
提案アルゴリズムは,従来のDMのコストをわずかに抑えながら,教師なし環境での競合的I2I翻訳を実現していることを示す。
論文 参考訳（メタデータ） (2024-11-22T11:24:14Z) - E$^2$M: Double Bounded $α$-Divergence Optimization for Tensor-based Discrete Density Estimation [3.9633191508712398]
本稿では、E$2Mアルゴリズムと呼ばれる予測最大化(EM)アルゴリズムの一般化を提案する。
Kullback-Leibler (KL) の発散に基づく代理対象の最小化に最適化を緩和することでこの問題を回避する。
このアプローチは、CP、Tucker、Trainフォーマットなど、さまざまな低ランク構造に対してフレキシブルなモデリングを提供します。
論文 参考訳（メタデータ） (2024-05-28T14:28:28Z) - Sobolev Space Regularised Pre Density Models [51.558848491038916]
本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。
この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
論文 参考訳（メタデータ） (2023-07-25T18:47:53Z) - NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。
NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。
我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
論文 参考訳（メタデータ） (2022-09-29T16:54:53Z) - Wasserstein Distributional Learning [5.830831796910439]
Wasserstein Distributional Learning (WDL)はフレキシブルな密度オンスカラー回帰モデリングフレームワークである。
WDLは, 条件密度の非線形依存性をよりよく特徴付け, 明らかにする。
シミュレーションと実世界の応用を通してWDLフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2022-09-12T02:32:17Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Spatially relaxed inference on high-dimensional linear models [48.989769153211995]
本研究では,空間的に制約されたクラスタリング,統計的推論,アンサンブルを組み合わせ,複数のクラスタリング推論解を集約するアンサンブルクラスタリング推論アルゴリズムの特性について検討する。
アンサンブルクラスタ推論アルゴリズムは,最大クラスター径に等しい$delta$-FWERの標準仮定で$delta$-FWERを制御することを示す。
論文 参考訳（メタデータ） (2021-06-04T16:37:19Z) - Convergence Rates of Stochastic Gradient Descent under Infinite Noise
Variance [14.06947898164194]
ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。
SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。
その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
論文 参考訳（メタデータ） (2021-02-20T13:45:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。