論文の概要: Disentangling impact of capacity, objective, batchsize, estimators, and step-size on flow VI

• arxiv url: http://arxiv.org/abs/2412.08824v1
• Date: Wed, 11 Dec 2024 23:54:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:34:12.339169
• Title: Disentangling impact of capacity, objective, batchsize, estimators, and step-size on flow VI
• Title（参考訳）: キャパシティ, 客観的, バッチサイズ, 推定器, ステップサイズの影響VI
• Authors: Abhinav Agrawal, Justin Domke,
• Abstract要約: フローベース変分推論(フローVI)の正規化は有望な近似推論手法である。 我々は、いくつかの重要な要因の影響を解消するために、ステップバイステップの分析を行う。 本稿では,先行する旋盤型ハミルトンモンテカルロ法(HMC)に適合するフローVIレシピを提案する。
• 参考スコア（独自算出の注目度）: 20.894503281724052
• License:
• Abstract: Normalizing flow-based variational inference (flow VI) is a promising approximate inference approach, but its performance remains inconsistent across studies. Numerous algorithmic choices influence flow VI's performance. We conduct a step-by-step analysis to disentangle the impact of some of the key factors: capacity, objectives, gradient estimators, number of gradient estimates (batchsize), and step-sizes. Each step examines one factor while neutralizing others using insights from the previous steps and/or using extensive parallel computation. To facilitate high-fidelity evaluation, we curate a benchmark of synthetic targets that represent common posterior pathologies and allow for exact sampling. We provide specific recommendations for different factors and propose a flow VI recipe that matches or surpasses leading turnkey Hamiltonian Monte Carlo (HMC) methods.
• Abstract（参考訳）: フローベース変分推論(フローVI)の正規化は有望な近似推論手法であるが、その性能は研究全体では相容れない。 多数のアルゴリズム選択がフローVIの性能に影響を及ぼす。 我々は、キャパシティ、目的、勾配推定器、勾配推定数(バッチサイズ)、ステップサイズといった、いくつかの重要な要因の影響を解消するために、ステップバイステップの分析を行う。 各ステップは、前のステップからの洞察や、広範囲の並列計算を使用して、他のステップを中和しながら、ある要素を検査する。 高忠実度評価を容易にするため、一般的な後部病理を表わし、正確なサンプリングを可能にする合成ターゲットのベンチマークをキュレートする。 本稿では,異なる要因に対する具体的な勧告を提案し,主要な旋回型ハミルトン・モンテカルロ法(HMC)に適合または超越したフローVIレシピを提案する。

関連論文リスト

• Estimation and Inference for Causal Functions with Multiway Clustered Data [6.988496457312806]
  本稿では,一般的な因果関数のクラスに対する推定法と一様推論法を提案する。 因果関数は、調整された(Neyman-orthogonal)信号の条件付き期待値として同定される。 提案手法をアフリカにおける水準と歴史的奴隷貿易の因果関係の分析に適用する。
  論文  参考訳（メタデータ） (2024-09-10T17:17:53Z)
• Exploring the Performance of Continuous-Time Dynamic Link Prediction Algorithms [14.82820088479196]
  ダイナミックリンク予測(DLP)は、進化するネットワークにおける将来のリンクの予測に対処する。 本研究では,このような総合的な評価を行うためのツールをコントリビュートする。 評価時に使用可能な陰性サンプリング手法の網羅的な分類法について述べる。
  論文  参考訳（メタデータ） (2024-05-27T14:03:28Z)
• Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data [102.16105233826917]
  好みラベルからの学習は、微調整された大きな言語モデルにおいて重要な役割を果たす。 好みの微調整には、教師付き学習、オンライン強化学習(RL)、コントラスト学習など、いくつかの異なるアプローチがある。
  論文  参考訳（メタデータ） (2024-04-22T17:20:18Z)
• VISA: Variational Inference with Sequential Sample-Average Approximations [7.792333134503654]
  逐次サンプル平均近似(VISA)を用いた変分推論を提案する。 VISAは、サンプル平均近似を用いて、重要重み付きフォワード-KL変量推論を拡張する。 我々は,VISAが標準重み付きフォワードKL変分推定に匹敵する近似精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2024-03-14T14:20:22Z)
• Training Dynamics of Multi-Head Softmax Attention for In-Context Learning: Emergence, Convergence, and Optimality [54.20763128054692]
  マルチタスク線形回帰の文脈内学習のためのマルチヘッドソフトマックスアテンションモデルを訓練するための勾配流のダイナミクスについて検討する。 我々は,勾配流のダイナミックス中に,興味深い「タスク割り当て」現象が現れることを証明した。
  論文  参考訳（メタデータ） (2024-02-29T18:43:52Z)
• ACE : Off-Policy Actor-Critic with Causality-Aware Entropy Regularization [52.5587113539404]
  因果関係を考慮したエントロピー(entropy)という用語を導入し,効率的な探索を行うための潜在的影響の高いアクションを効果的に識別し,優先順位付けする。 提案アルゴリズムであるACE:Off-policy Actor-critic with Causality-aware Entropy regularizationは,29種類の連続制御タスクに対して,大幅な性能上の優位性を示す。
  論文  参考訳（メタデータ） (2024-02-22T13:22:06Z)
• eXplainable Bayesian Multi-Perspective Generative Retrieval [6.823521786512908]
  探索パイプラインに不確実な校正と解釈性を導入する。 LIME や SHAP などの手法を取り入れて,ブラックボックス・リランカモデルの挙動を解析する。 提案手法は3つのKILTデータセットにまたがる大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2024-02-04T09:34:13Z)
• Counterfactual Learning with Multioutput Deep Kernels [0.0]
  本稿では,観測データを用いた反実的推論の課題に対処する。 本稿では、因果効果を推定し、適切にポリシーを学習する、対実的マルチタスクディープカーネルモデルの一般的なクラスを示す。
  論文  参考訳（メタデータ） (2022-11-20T23:28:41Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Variance-Aware Off-Policy Evaluation with Linear Function Approximation [85.75516599931632]
  線形関数近似を用いた強化学習における非政治的評価問題について検討する。 本稿では,値関数の分散を推定し,フィルタQ-Iterationにおけるベルマン残差を再重み付けするアルゴリズムVA-OPEを提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。