論文の概要: Adaptive Importance Sampling meets Mirror Descent: a Bias-variance tradeoff

• arxiv url: http://arxiv.org/abs/2110.15590v1
• Date: Fri, 29 Oct 2021 07:45:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 15:06:42.962777
• Title: Adaptive Importance Sampling meets Mirror Descent: a Bias-variance tradeoff
• Title（参考訳）: Adaptive Importance Smpling, Mirror Descent: バイアス分散トレードオフ
• Authors: Anna Korba and Fran\c{c}ois Portier
• Abstract要約: 適応的な重要度サンプリングの大きな欠点は、重みの大きなばらつきである。 本稿では,一定のパワーで重み付けを行うことを基本原理とする正規化戦略について検討する。
• 参考スコア（独自算出の注目度）: 7.538482310185135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptive importance sampling is a widely spread Monte Carlo technique that uses a re-weighting strategy to iteratively estimate the so-called target distribution. A major drawback of adaptive importance sampling is the large variance of the weights which is known to badly impact the accuracy of the estimates. This paper investigates a regularization strategy whose basic principle is to raise the importance weights at a certain power. This regularization parameter, that might evolve between zero and one during the algorithm, is shown (i) to balance between the bias and the variance and (ii) to be connected to the mirror descent framework. Using a kernel density estimate to build the sampling policy, the uniform convergence is established under mild conditions. Finally, several practical ways to choose the regularization parameter are discussed and the benefits of the proposed approach are illustrated empirically.
• Abstract（参考訳）: 適応的重要度サンプリング(adaptive importance sampling)は、モンテカルロに広く普及した手法で、再重み付け戦略を用いて、いわゆる目標分布を反復的に推定する。 適応的な重要度サンプリングの大きな欠点は、推定の精度に悪影響を与えることが知られている重みの大きなばらつきである。 本稿では,一定のパワーで重み付けの重み付けを基本原理とする正規化戦略について検討する。 この正規化パラメータは、アルゴリズム中にゼロと1の間に進化する可能性がある。 (i)偏差と偏差のバランスをとること (ii)ミラー降下枠組と接続すること。 カーネル密度推定を用いてサンプリングポリシーを構築することにより、均一収束は穏やかな条件下で確立される。 最後に, 正規化パラメータの選択方法をいくつか検討し, 提案手法の利点を実証的に示す。

関連論文リスト

• Contextual Optimization under Covariate Shift: A Robust Approach by Intersecting Wasserstein Balls [18.047245099229325]
  2つのワッサーシュタイン球の交叉によって設定されたあいまいさを利用する分布的ロバストなアプローチを提案する。 提案したモデルの強烈な経験的性能を実証する。
  論文  参考訳（メタデータ） (2024-06-04T15:46:41Z)
• Nearest Neighbor Sampling for Covariate Shift Adaptation [7.940293148084844]
  重みを推定しない新しい共変量シフト適応法を提案する。 基本的な考え方は、ソースデータセットの$k$-nearestの隣人によってラベル付けされたラベル付けされていないターゲットデータを直接扱うことだ。 実験の結果, 走行時間を大幅に短縮できることがわかった。
  論文  参考訳（メタデータ） (2023-12-15T17:28:09Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• Variational autoencoder with weighted samples for high-dimensional non-parametric adaptive importance sampling [0.0]
  既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。 モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。 提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
  論文  参考訳（メタデータ） (2023-10-13T15:40:55Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Pareto Smoothed Importance Sampling [8.705872384531318]
  重み付けはモンテカルロ積分を調整する一般的な方法であり、間違った分布からの引き分けを考慮に入れている。 これは、近似分布によってうまく捉えられていない対象分布の側面が存在する場合に、日常的に発生する。 シミュレーションされた重要度比の分布の上限に適合する一般化されたパレート分布を用いて、重要度重みを安定化する新しい方法を提案する。
  論文  参考訳（メタデータ） (2015-07-09T18:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。