論文の概要: General bounds on the quality of Bayesian coresets

• arxiv url: http://arxiv.org/abs/2405.11780v2
• Date: Wed, 16 Oct 2024 20:30:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:16:46.135907
• Title: General bounds on the quality of Bayesian coresets
• Title（参考訳）: ベイズコアセットの品質に関する一般境界
• Authors: Trevor Campbell,
• Abstract要約: この研究は、KL(Kulback-Leibler)上の一般上界と下界を示す。 下限は、コアセット近似の質に関する基本的な制限を得るために適用される。 上界は最近のサブサンプル最適化手法の性能解析に使用される。
• 参考スコア（独自算出の注目度）: 13.497835690074151
• License:
• Abstract: Bayesian coresets speed up posterior inference in the large-scale data regime by approximating the full-data log-likelihood function with a surrogate log-likelihood based on a small, weighted subset of the data. But while Bayesian coresets and methods for construction are applicable in a wide range of models, existing theoretical analysis of the posterior inferential error incurred by coreset approximations only apply in restrictive settings -- i.e., exponential family models, or models with strong log-concavity and smoothness assumptions. This work presents general upper and lower bounds on the Kullback-Leibler (KL) divergence of coreset approximations that reflect the full range of applicability of Bayesian coresets. The lower bounds require only mild model assumptions typical of Bayesian asymptotic analyses, while the upper bounds require the log-likelihood functions to satisfy a generalized subexponentiality criterion that is weaker than conditions used in earlier work. The lower bounds are applied to obtain fundamental limitations on the quality of coreset approximations, and to provide a theoretical explanation for the previously-observed poor empirical performance of importance sampling-based construction methods. The upper bounds are used to analyze the performance of recent subsample-optimize methods. The flexibility of the theory is demonstrated in validation experiments involving multimodal, unidentifiable, heavy-tailed Bayesian posterior distributions.
• Abstract（参考訳）: ベイジアンコアセットは、データの小さな重み付きサブセットに基づいて、全データログ様関数を代理ログ様関数で近似することにより、大規模データ体制における後部推論を高速化する。 しかし、ベイジアンコアセットと構成法は幅広いモデルに適用できるが、コアセット近似によって得られた後続の推論誤差の既存の理論的解析は、制限的な設定(指数関数的なファミリーモデル、あるいは強い対数共空と滑らかさの仮定を持つモデル)にのみ適用される。 この研究は、ベイズコアセットの完全な適用範囲を反映したコアセット近似のクルバック・リーブラ(KL)偏差に関する一般上界と下界を示す。 下界はベイズ漸近解析に典型的な穏やかなモデル仮定しか必要としないが、上界は、初期の研究で用いられる条件よりも弱い一般化された指数性基準を満たすために対数様の関数を必要とする。 下限はコアセット近似の質に関する基本的な限界を得るために適用され、また、重要なサンプリングベース工法において、以前に観測された貧弱な経験的性能に関する理論的説明を提供する。 上界は最近のサブサンプル最適化手法の性能解析に使用される。 この理論の柔軟性は、マルチモーダル、未同定、重尾のベイズ分布を含む検証実験で実証される。

関連論文リスト

• Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
  ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。 我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
  論文  参考訳（メタデータ） (2023-05-31T08:13:14Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Score-based Generative Modeling Secretly Minimizes the Wasserstein Distance [14.846377138993642]
  スコアベースモデルはまた、モデル上の適切な仮定の下で、それらの間のワッサーシュタイン距離を最小化することを示した。 我々の証明は、社会に独立した関心を持つことのできる最適輸送理論の新たな応用に基づいている。
  論文  参考訳（メタデータ） (2022-12-13T03:48:01Z)
• Large deviations rates for stochastic gradient descent with strongly convex functions [11.247580943940916]
  勾配降下を伴う一般高確率境界の研究のための公式な枠組みを提供する。 強い凸関数を持つSGDの上限となる大きな偏差が見つかる。
  論文  参考訳（メタデータ） (2022-11-02T09:15:26Z)
• Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning [78.30395044401321]
  我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。 ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。 連続的な制御環境では、壁時計の時間を最大50%削減することができる。
  論文  参考訳（メタデータ） (2022-06-02T17:27:49Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Can convolutional ResNets approximately preserve input distances? A frequency analysis perspective [31.897568775099558]
  正規化スキームとbi-Lipschitznessの理論的関係は、実際には成り立たない条件下でのみ有効であることを示す。 距離保存条件に対する逆例を探索する簡単な構成的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-04T13:12:42Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Lower bounds in multiple testing: A framework based on derandomized proxies [107.69746750639584]
  本稿では, 各種コンクリートモデルへの適用例を示す, デランドマイズに基づく分析戦略を提案する。 これらの下界のいくつかを数値シミュレーションし、Benjamini-Hochberg (BH) アルゴリズムの実際の性能と密接な関係を示す。
  論文  参考訳（メタデータ） (2020-05-07T19:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。