論文の概要: Adaptive importance sampling for heavy-tailed distributions via $\alpha$-divergence minimization

• arxiv url: http://arxiv.org/abs/2310.16653v1
• Date: Wed, 25 Oct 2023 14:07:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 14:20:30.333854
• Title: Adaptive importance sampling for heavy-tailed distributions via $\alpha$-divergence minimization
• Title（参考訳）: $\alpha$-divergence最小化による重み付き分布の適応的重要サンプリング
• Authors: Thomas Guilmeau and Nicola Branchini and Emilie Chouzenoux and V\'ictor Elvira
• Abstract要約: 提案手法は,学生の提案分布からターゲットを近似するAISアルゴリズムを提案する。 我々は、目標と提案の護衛モーメントを一致させて、位置とスケールパラメータを適応させる。 これらの更新は、ターゲットと提案の間の$alpha$-divergenceを最小化し、変動推論と接続する。
• 参考スコア（独自算出の注目度）: 2.879807093604632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptive importance sampling (AIS) algorithms are widely used to approximate expectations with respect to complicated target probability distributions. When the target has heavy tails, existing AIS algorithms can provide inconsistent estimators or exhibit slow convergence, as they often neglect the target's tail behaviour. To avoid this pitfall, we propose an AIS algorithm that approximates the target by Student-t proposal distributions. We adapt location and scale parameters by matching the escort moments - which are defined even for heavy-tailed distributions - of the target and the proposal. These updates minimize the $\alpha$-divergence between the target and the proposal, thereby connecting with variational inference. We then show that the $\alpha$-divergence can be approximated by a generalized notion of effective sample size and leverage this new perspective to adapt the tail parameter with Bayesian optimization. We demonstrate the efficacy of our approach through applications to synthetic targets and a Bayesian Student-t regression task on a real example with clinical trial data.
• Abstract（参考訳）: adaptive importance sampling (ais) アルゴリズムは複雑な目標確率分布に対する期待を近似するために広く使われている。 ターゲットが重いテールを持つ場合、既存のaisアルゴリズムは一貫性のない推定器を提供したり、ターゲットのテール動作を無視することが多いため、収束が遅い。 この落とし穴を避けるために,学生t提案分布によって目標を近似するaisアルゴリズムを提案する。 我々は、ターゲットと提案の重み付けされた分布に対しても定義されたエスコートモーメントをマッチングすることで、位置とスケールパラメータを適応する。 これらの更新はターゲットと提案の間の$\alpha$-divergenceを最小化し、変分推論と接続する。 すると、$\alpha$-divergence は有効サンプルサイズという一般化された概念で近似でき、この新しい視点を利用して末尾パラメータをベイズ最適化に適応させることができる。 臨床実験データを用いた実例において, 人工目標へのアプローチの有効性とベイズ学生t回帰課題を実例に示す。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization [10.009748368458409]
  本稿では、(構造化された)空間性に対して、明示的に正規化された目的を円滑に最適化するためのフレームワークを提案する。 提案手法は,完全微分可能近似自由最適化を実現し,深層学習におけるユビキタス勾配降下パラダイムと互換性がある。
  論文  参考訳（メタデータ） (2023-07-07T13:06:12Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Sequential Domain Adaptation by Synthesizing Distributionally Robust Experts [14.656957226255628]
  教師付きドメイン適応は、目標分布に近いソース分布からラベル付きトレーニングサンプルを追加することにより、予測精度を向上させることを目的としている。 我々は、提案した頑健な専門家の家系のBernsteinオンライン集約アルゴリズムを用いて、ターゲットサンプルの逐次的ストリームの予測を生成する。
  論文  参考訳（メタデータ） (2021-06-01T08:51:55Z)
• Amortized variance reduction for doubly stochastic objectives [17.064916635597417]
  複素確率モデルにおける近似推論は二重目的関数の最適化を必要とする。 現在のアプローチでは、ミニバッチがサンプリング性にどのように影響するかを考慮せず、結果として準最適分散が減少する。 本稿では,認識ネットワークを用いて各ミニバッチに対して最適な制御変数を安価に近似する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T13:23:14Z)
• Scalable Approximate Inference and Some Applications [2.6541211006790983]
  本稿では,近似推論のための新しいフレームワークを提案する。 提案する4つのアルゴリズムは,Steinの手法の最近の計算進歩に動機付けられている。 シミュレーションおよび実データを用いた結果から,アルゴリズムの統計的効率と適用性を示す。
  論文  参考訳（メタデータ） (2020-03-07T04:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。