論文の概要: Fearless Stochasticity in Expectation Propagation

• arxiv url: http://arxiv.org/abs/2406.01801v1
• Date: Mon, 3 Jun 2024 21:42:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 20:42:35.680677
• Title: Fearless Stochasticity in Expectation Propagation
• Title（参考訳）: 期待伝播におけるFearless Stochasticity
• Authors: Jonathan So, Richard E. Turner,
• Abstract要約: 我々は期待伝播(EP)のモーメントマッチング更新に関する新しい視点を提供する。 この洞察を用いて、2つの新しいEP変種を動機付け、特にモンテカルロ(MC)推定に適した更新を行う。 これらの新しいバリエーションは、前者の利点と重要な弱点に対処するものである。
• 参考スコア（独自算出の注目度）: 20.77026826229894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expectation propagation (EP) is a family of algorithms for performing approximate inference in probabilistic models. The updates of EP involve the evaluation of moments -- expectations of certain functions -- which can be estimated from Monte Carlo (MC) samples. However, the updates are not robust to MC noise when performed naively, and various prior works have attempted to address this issue in different ways. In this work, we provide a novel perspective on the moment-matching updates of EP; namely, that they perform natural-gradient-based optimisation of a variational objective. We use this insight to motivate two new EP variants, with updates that are particularly well-suited to MC estimation; they remain stable and are most sample-efficient when estimated with just a single sample. These new variants combine the benefits of their predecessors and address key weaknesses. In particular, they are easier to tune, offer an improved speed-accuracy trade-off, and do not rely on the use of debiasing estimators. We demonstrate their efficacy on a variety of probabilistic inference tasks.
• Abstract（参考訳）: 予測伝搬 (EP) は確率論的モデルにおいて近似推論を行うアルゴリズムの一群である。 EPの更新には、モンテカルロ(MC)のサンプルから推定できるモーメント(特定の機能の期待)の評価が含まれる。 しかし、更新は直感的に行うとMCノイズに対して堅牢ではなく、様々な先行研究が様々な方法でこの問題に対処しようと試みている。 本研究では,EPのモーメントマッチング更新に対する新たな視点,すなわち,変動目的の自然な漸進的最適化を実現することを提案する。 我々はこの洞察を用いて2つの新しいEP変異体を動機付け、特にMC推定に適した更新を行い、安定であり、単一のサンプルで見積もると最もサンプル効率が高い。 これらの新しいバリエーションは、前者の利点と重要な弱点に対処するものである。 特に、チューニングが容易で、スピード精度の向上されたトレードオフを提供し、デバイアス推定器の使用に依存しない。 様々な確率的推論タスクにおいて有効性を示す。

関連論文リスト

• Improved prediction of future user activity in online A/B testing [9.824661943331119]
  オンラインランダム化実験やA/Bテストでは、参加者参加率の正確な予測が最も重要である。 我々は、個人が介入に晒される率を予測するために、新しく、単純でスケーラブルなベイズ非パラメトリックアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-05T17:44:21Z)
• Performative Time-Series Forecasting [71.18553214204978]
  我々は,機械学習の観点から,パフォーマンス時系列予測(PeTS)を定式化する。 本稿では,予測分布シフトに対する遅延応答の概念を活用する新しい手法であるFeature Performative-Shifting(FPS)を提案する。 新型コロナウイルスの複数の時系列モデルと交通予報タスクを用いた総合的な実験を行った。
  論文  参考訳（メタデータ） (2023-10-09T18:34:29Z)
• Probabilistic Precision and Recall Towards Reliable Evaluation of Generative Models [7.770029179741429]
  問題に対処する確率論的アプローチに基づいて,P-precision and P-recall (PP&PR)を提案する。 我々のPP&PRは、既存の指標よりも忠実度と多様性を比較するための信頼性の高い見積もりを提供することを示す。
  論文  参考訳（メタデータ） (2023-09-04T13:19:17Z)
• Optimal Training of Mean Variance Estimation Neural Networks [1.4610038284393165]
  本稿では,平均変数推定ネットワーク(MVEネットワーク)の最適実装に焦点をあてる(Nix and Weigend, 1994)。 MVEネットワークは、平均関数と分散関数を持つ正規分布からデータを生成すると仮定する。 本稿では,MVEネットワークの新たな改良点として,平均値と分散推定値を分離した正規化を提案する。
  論文  参考訳（メタデータ） (2023-02-17T13:44:47Z)
• Backward-Compatible Prediction Updates: A Probabilistic Approach [12.049279991559091]
  本稿では,予測更新問題を定式化し,上記の質問に対する効率的な確率的アプローチを提案する。 標準分類ベンチマークデータセットの広範な実験において,提案手法は後方互換性のある予測更新のための代替戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-02T13:05:31Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。