論文の概要: Lipschitz-Constrained Discriminators in Generative Modeling: Asymptotic Behavior and Support Mismatch
- arxiv url: http://arxiv.org/abs/2611.18394v1
- Date: Fri, 13 Nov 2026 16:38:40 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:24:07.002549
- Title: Lipschitz-Constrained Discriminators in Generative Modeling: Asymptotic Behavior and Support Mismatch
- Title(参考訳): 生成モデルにおけるリプシッツ制約ディスクリミネーター:漸近行動とサポートミスマッチ
- Abstract要約: 確率分布が$Q$と$P$のKL分割を正規化した$L-$Lipschitzに付随する最適判別器の挙動について検討する。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: We study the asymptotic behavior of optimal discriminators associated to $L-$Lipschitz regularized KL-divergences of two probability distributions $Q$ and $P$ that interpolate between the rescaled Wasserstein$-1$ metric by some parameter $L>0$ and the KL divergence. The parameter $L$ plays the role of a Lipschitz constraint and is viewed as a regularization parameter: small values of $L$ enforce a more geometry-aware discriminator, while as $L$ increases the geometric regularization is progressively relaxed. It is a known result [3] that such divergences converge to the KL divergence as $L\to\infty$. In this paper, we characterize the asymptotic behavior of the optimal discriminators as $L\to\infty$ in different regimes: Firstly, under $Q\ll P$ and the Radon-Nikodym derivative $\frac{dQ}{dP}$ is bounded from above and bounded away from zero. Secondly, when $Q$ and $P$ are discrete distributions satisfying $Q\ll P$, and finally when $Q$ and $P$ are non absolutely continuous discrete distributions. This result motivates training strategies which involve discriminators, such as adversarial generative models. In practice, the data distribution is often represented by a discrete empirical measure, while, especially at the early stages of the training, the model distribution may have little or no overlap with the empirical data distribution.
- Abstract(参考訳): 本研究は,2つの確率分布のKL-除算を正規化した$L-$Lipschitzに付随する最適判別器の漸近挙動を,あるパラメータ$L>0$とKL偏差によって再スケールしたWasserstein$-1$とを補間した$Q$と$P$について検討する。
パラメータ $L$ はリプシッツ制約の役割を担い、正規化パラメータとして見なされる:$L$ の小さな値はより幾何対応の判別器を強制するが、$L$ が増加するにつれて幾何正規化は徐々に緩和される。
そのような発散が KL の発散に$L\to\infty$ として収束することが知られている。
第一に、$Q\ll P$ と Radon-Nikodym 微分 $\frac{dQ}{dP}$ は上から有界で、ゼロから有界である。
第二に、$Q$と$P$が$Q\ll P$を満たす離散分布であり、最後に$Q$と$P$が絶対連続な離散分布でないときである。
この結果は、敵対的生成モデルのような差別者を含む訓練戦略を動機付けている。
実際には、データ分布は離散的な経験的尺度で表されることが多いが、特に訓練の初期段階では、モデル分布は経験的データ分布とほとんどあるいは全く重複しない。
関連論文リスト
- Sharp Sample Complexity of KL-Regularized Reinforcement Learning [2.4423948691940347]
人間からのフィードバックから最大エントロピーRLとRLの背後にある目的であるKL正規化強化学習は「推論としての制御」のグラフィカルモデルにおける変分推論である
生成モデルを用いても、この後部を学習するのにどれだけのサンプルが必要であるかは分かっていない。
状態-作用対が$K$の割引MDPに対して、プラグイン推定器は、$widetildeO(KH3/(max,) + KH)$サンプルを持つ初期状態から$$$-Optimalのポリシーを見つける。
論文 参考訳(メタデータ) (2026-11-10T02:42:55Z) - On the asymptotic behaviour of $α$-divergence generalized posteriors [1.8620637029128544]
本稿では,$$-divergence で正規化される一般変分推論問題に対する解の挙動について検討する。
最小化器は、L1$でガウスの固定された非ガウスの法則に収束する再スケーリングを許容することを示す。
我々は,これらの定性的に異なる体制が,信頼された地域の頻繁な報道に与える影響について論じる。
論文 参考訳(メタデータ) (2026-10-26T12:27:36Z) - Statistical inverse learning and $\ell^1$-regularization [0.27998963147546135]
統計的逆学習の枠組みにおいて,有限,雑音,間接的な観測からスパース関数の回復について検討した。
我々は、ほぼ公約指数を確立し、予測基準と$ell1$復元基準の両方において、非漸近的高確率収束率を導出する。
論文 参考訳(メタデータ) (2026-07-08T14:32:08Z) - Binary Rewards and Reinforcement Learning: Fundamental Challenges [7.106986689736826]
RLVRによる強化学習は、言語モデルにおける推論を改善するための標準的なアプローチとなっている。
二項報酬の性質を基礎としたこの現象の構造的説明を提供する。
論文 参考訳(メタデータ) (2026-05-04T09:17:26Z) - Efficient reductions from a Gaussian source with applications to statistical-computational tradeoffs [8.162867143465382]
我々はこの手法を利用して、平均ケースの複雑さにおいて広く信じられている予想の下で、いくつかの正準高次元統計モデルに対して、還元に基づく計算下界を確立する。
ガウス雑音を持つスパイクテンソルPCAの計算下界は、クラス内の他のガウス雑音分布にまで拡張可能であることを示す。
論文 参考訳(メタデータ) (2025-10-08T17:16:36Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳(メタデータ) (2023-09-25T17:54:19Z) - $L^1$ Estimation: On the Optimality of Linear Estimators [64.76492306585168]
この研究は、条件中央値の線型性を誘導する$X$上の唯一の先行分布がガウス分布であることを示している。
特に、条件分布 $P_X|Y=y$ がすべての$y$に対して対称であるなら、$X$ はガウス分布に従う必要がある。
論文 参考訳(メタデータ) (2023-09-17T01:45:13Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳(メタデータ) (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。