論文の概要: From Tail Universality to Bernstein-von Mises: A Unified Statistical Theory of Semi-Implicit Variational Inference

• arxiv url: http://arxiv.org/abs/2512.06107v1
• Date: Fri, 05 Dec 2025 19:26:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.192531
• Title: From Tail Universality to Bernstein-von Mises: A Unified Statistical Theory of Semi-Implicit Variational Inference
• Title（参考訳）: Tail UniversalityからBernstein-von Misesへ:半特異変分推論の統一統計理論
• Authors: Sean Plummer,
• Abstract要約: 半単純変分推論 (SIVI) は$q() = int k(| z) r(dz)$ という形の近似後部を構成する 本稿では,このような家族に対する「近似最適化統計学」を統一的に展開する。
• 参考スコア（独自算出の注目度）: 0.12183405753834557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-implicit variational inference (SIVI) constructs approximate posteriors of the form $q(θ) = \int k(θ| z) r(dz)$, where the conditional kernel is parameterized and the mixing base is fixed and tractable. This paper develops a unified "approximation-optimization-statistics'' theory for such families. On the approximation side, we show that under compact L1-universality and a mild tail-dominance condition, semi-implicit families are dense in L1 and can achieve arbitrarily small forward Kullback-Leibler (KL) error. We also identify two sharp obstructions to global approximation: (i) an Orlicz tail-mismatch condition that induces a strictly positive forward-KL gap, and (ii) structural restrictions, such as non-autoregressive Gaussian kernels, that force "branch collapse'' in conditional distributions. For each obstruction we give a minimal structural modification that restores approximability. On the optimization side, we establish finite-sample oracle inequalities and prove that the empirical SIVI objectives L(K,n) $Γ$-converge to their population limit as n and K tend to infinity. These results give consistency of empirical maximizers, quantitative control of finite-K surrogate bias, and stability of the resulting variational posteriors. Combining the approximation and optimization analyses yields the first general end-to-end statistical theory for SIVI: we characterize precisely when SIVI can recover the target distribution, when it cannot, and how architectural and algorithmic choices govern the attainable asymptotic behavior.
• Abstract（参考訳）: 半単純変分推論 (SIVI) は$q(θ) = \int k(θ| z) r(dz)$ という形の近似後部を構成する。 本稿では,このような家族に対する「近似最適化統計学」を統一的に展開する。 近似面では、コンパクトなL1ユニバーシティと軽度のテールドミナンス条件の下では、半単純族はL1で密接であり、任意に小さなクルバック・リーブラー(KL)誤差を達成できることを示す。 また、グローバル近似に対する2つの鋭い障害も特定する。 (i)厳密な正の前方-KLギャップを誘導するオルリッツテール・ミスマッチ条件 (II) 条件分布において「分岐崩壊」を強制する非自己回帰型ガウス核のような構造的制約。 各障害に対して、近似性を回復する最小限の構造修正を与える。 最適化側では、有限サンプルオラクルの不等式を確立し、経験的SIVIの目的が L(K,n)$ $-収束であることを証明する。 これらの結果は、経験的最大値の整合性、有限K代理バイアスの定量的制御、および結果の変動後部の安定性を与える。 近似と最適化分析を組み合わせることで、SIVIの一般の終端統計理論が得られ、SIVIが目標分布を回復できるとき、それができないとき、アーキテクチャ的およびアルゴリズム的選択が達成可能な漸近的振舞いをいかに支配するかを正確に特徴付ける。

関連論文リスト

• Statistical Inference under Adaptive Sampling with LinUCB [15.167069362020426]
  線形帯域に対する線形上信頼境界(LinUCB)アルゴリズムは安定性という特性を満たすことを示す。 我々は、LinUCBアルゴリズムの中央極限定理を確立し、推定誤差の極限分布の正規性を確立する。
  論文  参考訳（メタデータ） (2025-11-28T21:48:18Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Natural Gradient VI: Guarantees for Non-Conjugate Models [29.717497256432186]
  自然自然変分推論(NGVI)は確率モデルにおける後部分布を近似する手法として広く用いられている。 NGVI収束保証が非クリコンジューゲート設定にまで拡張されないことを示す。 我々は,非ユースを組み込んだNGVIアルゴリズムを提案し,その大域的非漸近収束を定常点に証明する。
  論文  参考訳（メタデータ） (2025-10-22T01:46:31Z)
• Graph-based Clustering Revisited: A Relaxation of Kernel $k$-Means Perspective [73.18641268511318]
  本稿では,クラスタリング結果を導出するための正規制約のみを緩和するグラフベースのクラスタリングアルゴリズムを提案する。 二重制約を勾配に変換するために、非負の制約をクラス確率パラメータに変換する。
  論文  参考訳（メタデータ） (2025-09-23T09:14:39Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Convergence Rates of Stochastic Gradient Descent under Infinite Noise Variance [14.06947898164194]
  ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。 SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。 その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
  論文  参考訳（メタデータ） (2021-02-20T13:45:11Z)
• Posterior-Aided Regularization for Likelihood-Free Inference [23.708122045184698]
  後補助正規化(PAR)は,モデル構造に関係なく,密度推定器の学習に適用可能である。 単一のニューラルネットワークを用いて逆KL項と相互情報項の両方を推定するPARの統一推定方法を提供する。
  論文  参考訳（メタデータ） (2021-02-15T16:59:30Z)
• Linear Last-iterate Convergence in Constrained Saddle-point Optimization [48.44657553192801]
  我々は、OGDA(Optimistic Gradient Descent Ascent)とOMWU(Optimistic Multiplicative Weights Update)に対する最終段階の独特さの理解を著しく拡大する。 平衡が一意である場合、線形終端収束は、値が普遍定数に設定された学習速度で達成されることを示す。 任意のポリトープ上の双線型ゲームがこの条件を満たすことを示し、OGDAは一意の平衡仮定なしで指数関数的に高速に収束することを示した。
  論文  参考訳（メタデータ） (2020-06-16T20:53:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。