論文の概要: On the asymptotic behaviour of $α$-divergence generalized posteriors

• arxiv url: http://arxiv.org/abs/2610.35330v1
• Date: Mon, 26 Oct 2026 12:27:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.921275
• Title: On the asymptotic behaviour of $α$-divergence generalized posteriors
• Title（参考訳）: 一般化後部における$α$-divergenceの漸近挙動について
• Abstract要約: 本稿では,$$-divergence で正規化される一般変分推論問題に対する解の挙動について検討する。 最小化器は、L1$でガウスの固定された非ガウスの法則に収束する再スケーリングを許容することを示す。 我々は,これらの定性的に異なる体制が,信頼された地域の頻繁な報道に与える影響について論じる。
• 参考スコア（独自算出の注目度）: 1.8620637029128544
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study the asymptotic behaviour of the solutions to the unconstrained generalized variational inference problem regularized by an $α$-divergence. Under mild conditions, the minimizer is explicit up to a scalar normalizing constant, and we show that it admits a rescaling under which it converges in $L^1$ to a fixed non-Gaussian law, at a concentration scale around the empirical loss minimizer that departs from the typical $n^{-1/2}$ in the classical Bernstein--von Mises theorem. For $α\in(0,1)$ and $d<2/(1-α)$ the limit is a Student-$t$ distribution and the posterior width shrinks faster than the sampling error of the empirical minimizer. Conversely, for $α>1$ the limiting distribution is a compactly supported Pearson type-II distribution, and the posterior width shrinks more slowly than the sampling error. The KL divergence ($α=1$) is the unique member of the $α$-divergence family whose posterior width matches the sampling scale and whose limit is Gaussian. We discuss the implications of these qualitatively different regimes for the frequentist coverage of credible regions, and a toy example on intercept-only logistic regression illustrates the theoretical claims.
• Abstract（参考訳）: 本稿では,非制約な一般化変分推論問題に対する解の漸近挙動を$α$-divergenceで正規化する。 穏やかな条件下では、最小化子はスカラー正規化定数まで明示的であり、古典的ベルンシュタイン-ヴォン・ミセスの定理において典型的な$n^{-1/2} から逸脱する経験的損失最小化器の周りの濃度スケールにおいて、それが固定された非ガウスの法則に$L^1$で収束する再スケーリングを持つことを示す。 $α\in(0,1)$と$d<2/(1-α)$の場合、制限は学生=$t$分布であり、後幅は経験的最小値のサンプリング誤差よりも速く縮小する。 逆に、$α>1$の場合、制限分布はコンパクトに支持されたピアソン型II分布であり、後部幅はサンプリング誤差よりも遅く縮小する。 KL分散(KL divergence)(α=1$)は、後方幅がサンプリングスケールと一致し、限界がガウスである$α$分割ファミリーのユニークなメンバーである。 我々は,これらの定性的に異なる規則が,信頼領域の頻繁なカバレッジに与える影響について論じるとともに,インターセプトのみのロジスティック回帰におけるおもちゃの例は理論的な主張を示している。

関連論文リスト

• Copula Active Subspaces II: Error Decomposition, A Posteriori Estimation, and Sharpness of the Bounds [0.24554686192257422]
  パート I の Copula Active Subspaces (CAS) 法は、残留サンプルから非ガウスノイズ密度 $_boldsymboln$ を推定する。 3つの既知の雑音法則に対する$d$のテストは、推定階数次元を使用する。 2つの推定項とトレース境界の和は、推定されたモデルを平均化した後の発散を超える。
  論文  参考訳（メタデータ） (2026-10-10T02:56:01Z)
• Type-II Error Bounds for Test Supermartingales from Lower-Tail Hypotheses [16.08983109077834]
  Villeの不等式は、すべての重要度$in(0,1]$に対して、任意の時価の型Iエラーを保証する。 ログインクリメントの下部尾部への確率の集中は、蓄積された証拠を無力化する1つの破滅的な賭けにつながる可能性がある。 本稿では,これらの下尾確率の異なる仮説が,シーケンシャルテストのタイプII誤差の異なる境界にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2026-08-19T16:00:34Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Optimal Dimension-Free Sampling for Regularized Classification [56.72526267755301]
  我々は、リプシッツ連続分類損失関数の幅広いクラスに対して、$(1pmvarepsilon)$-relativeエラーを達成する最適サンプリング境界を証明した。 これにはロジスティックやシグモイドの損失、ヒンジの損失、ReLUの損失といった重要な機能が含まれており、顕著で一般的な例である。
  論文  参考訳（メタデータ） (2026-05-22T15:05:33Z)
• Approximating $f$-Divergences with Rank Statistics [0.3222802562733787]
  ランクの分布を直接扱うことで、明示的な密度比推定を避けるために、$f$-divergencesのランク統計近似を導入する。 発散の結果として生じる推定量は、K$の単調であり、常に真$f$-発散の下位境界であることを示す。 ニューラルベースラインに対するベンチマークによるアプローチを実証的に検証し,生成モデル実験における学習目的としての利用を例証する。
  論文  参考訳（メタデータ） (2026-01-30T10:05:33Z)
• A Primal-Dual Approach to Solving Variational Inequalities with General Constraints [54.62996442406718]
  Yang et al. (2023) は最近、一般的な変分不等式を解決するために一階勾配法を使う方法を示した。 この方法の収束性を証明し、演算子が$L$-Lipschitz と monotone である場合、この手法の最後の繰り返しのギャップ関数が$O(frac1sqrtK)$で減少することを示す。
  論文  参考訳（メタデータ） (2022-10-27T17:59:09Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• On the Robustness to Misspecification of $\alpha$-Posteriors and Their Variational Approximations [12.52149409594807]
  $alpha$-posteriorとその変分近似は、確率を下げ、変分近似エラーを導入することで標準後部推論を歪ませる。 このような歪みが適切に調整されると、潜在的なパラメトリックモデルの誤仕様がある場合、Kulback-Leibler (KL) の真の分散が、おそらく実現不可能な、後方分布が減少することを示した。
  論文  参考訳（メタデータ） (2021-04-16T19:11:53Z)
• Convergence Rates of Stochastic Gradient Descent under Infinite Noise Variance [14.06947898164194]
  ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。 SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。 その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
  論文  参考訳（メタデータ） (2021-02-20T13:45:11Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。