論文の概要: Elements of Sequential Monte Carlo

• arxiv url: http://arxiv.org/abs/1903.04797v3
• Date: Thu, 05 Dec 2024 09:41:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-08 16:57:46.932627
• Title: Elements of Sequential Monte Carlo
• Title（参考訳）: シークエンシャルモンテカルロの要素
• Authors: Christian A. Naesseth, Fredrik Lindsten, Thomas B. Schön,
• Abstract要約: 統計学と機械学習の主な問題は、確率分布と予測を計算することである。 主な課題は、これらの難解な期待を近似することである。 シーケンシャルモンテカルロ (Sequence Monte Carlo, SMC) は、近似推論のためのランダムサンプリングに基づく手法のクラスである。
• 参考スコア（独自算出の注目度）: 21.1067925312595
• License:
• Abstract: A core problem in statistics and probabilistic machine learning is to compute probability distributions and expectations. This is the fundamental problem of Bayesian statistics and machine learning, which frames all inference as expectations with respect to the posterior distribution. The key challenge is to approximate these intractable expectations. In this tutorial, we review sequential Monte Carlo (SMC), a random-sampling-based class of methods for approximate inference. First, we explain the basics of SMC, discuss practical issues, and review theoretical results. We then examine two of the main user design choices: the proposal distributions and the so called intermediate target distributions. We review recent results on how variational inference and amortization can be used to learn efficient proposals and target distributions. Next, we discuss the SMC estimate of the normalizing constant, how this can be used for pseudo-marginal inference and inference evaluation. Throughout the tutorial we illustrate the use of SMC on various models commonly used in machine learning, such as stochastic recurrent neural networks, probabilistic graphical models, and probabilistic programs.
• Abstract（参考訳）: 統計学と確率論的機械学習の中核的な問題は確率分布と予測を計算することである。 これはベイズ統計学と機械学習の基本的な問題であり、後部分布に対するすべての推論を期待とみなすものである。 主な課題は、これらの難解な期待を近似することである。 本チュートリアルでは,ランダムサンプリングに基づく近似推論手法であるモンテカルロ(SMC)について概説する。 まず、SMCの基礎を説明し、実践的な問題を議論し、理論的な結果をレビューする。 次に,提案する提案分布と,いわゆる中間目標分布の2つの主要なユーザ設計選択について検討する。 本稿では,効率的な提案と目標分布の学習に,変分推論とアモーティゼーションをどのように利用できるか,最近の研究結果について概説する。 次に,正規化定数のSMC推定について論じる。 チュートリアルを通じて、確率的リカレントニューラルネットワーク、確率的グラフィカルモデル、確率的プログラムなど、機械学習で一般的に使用される様々なモデルにおけるSMCの使用について説明する。

関連論文リスト

• A Monte Carlo Framework for Calibrated Uncertainty Estimation in Sequence Prediction [19.710390261102113]
  離散列の分布に付随する確率と信頼区間を推定するモンテカルロフレームワークを提案する。 我々のフレームワークは、自己回帰学習ニューラルネットワークとして実装されたモンテカルロシミュレータを使用して、画像入力に条件付きシーケンスをサンプリングする。 合成および実データの実験では、このフレームワークは正確な識別予測を生成するが、誤校正に悩まされる可能性がある。
  論文  参考訳（メタデータ） (2024-10-30T17:53:37Z)
• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• Probabilistic Inference in Language Models via Twisted Sequential Monte Carlo [7.182174507225034]
  我々は、確率的推論問題にSequential Monte Carlo (SMC) のリッチツールキットを利用する。 学習されたツイスト関数を用いて、各時点におけるポテンシャルの将来的価値を推定する。 本稿では,言語モデル推論手法の精度を評価する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-26T17:18:32Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed Semi-Supervised Learning [49.94607673097326]
  ラベルなしデータの分散に関する前提を前提としない、高度に適応可能なフレームワークをSimProとして提案する。 我々のフレームワークは確率モデルに基づいており、期待最大化アルゴリズムを革新的に洗練する。 本手法は,様々なベンチマークやデータ分散シナリオにまたがる一貫した最先端性能を示す。
  論文  参考訳（メタデータ） (2024-02-21T03:39:04Z)
• Learning Distributions via Monte-Carlo Marginalization [9.131712404284876]
  サンプルから抽出可能な分布を学習する新しい手法を提案する。 モンテカルロ・マルギナライゼーション(MCMarg)はこの問題に対処するために提案されている。 提案手法は複雑な分布を学習するための強力なツールであり、プロセス全体が微分可能である。
  論文  参考訳（メタデータ） (2023-08-11T19:08:06Z)
• SIXO: Smoothing Inference with Twisted Objectives [8.049531918823758]
  SIXOは平滑な分布を近似する対象を学習する手法である。 次に、これらの学習対象とSMCを用いて、モデル学習と提案学習の変動目標を定義する。
  論文  参考訳（メタデータ） (2022-06-13T07:46:35Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• B\'ezier Curve Gaussian Processes [8.11969931278838]
  本稿では,確率的B'ezier曲線上に構築された新しい確率的シーケンスモデルを提案する。 混合密度ネットワークと組み合わせることで、平均場変動近似を必要とせずにベイズ条件推論を行うことができる。 このモデルは歩行者の軌跡予測に使われ、生成した予測はGP前でも機能する。
  論文  参考訳（メタデータ） (2022-05-03T19:49:57Z)
• Recursive Monte Carlo and Variational Inference with Auxiliary Variables [64.25762042361839]
  再帰的補助変数推論(RAVI)はフレキシブルな提案を利用するための新しいフレームワークである。 RAVIは、表現力のある表現力のある家族を推論するためのいくつかの既存の手法を一般化し、統一する。 RAVIの設計枠組みと定理を,SalimansらによるMarkov Chain Variational Inferenceを用いて解析し,改良することにより示す。
  論文  参考訳（メタデータ） (2022-03-05T23:52:40Z)
• Kernel learning approaches for summarising and combining posterior similarity matrices [68.8204255655161]
  我々は,ベイズクラスタリングモデルに対するMCMCアルゴリズムの出力を要約するための新しいアプローチを提案するために,後部類似性行列(PSM)の概念を構築した。 我々の研究の重要な貢献は、PSMが正の半定値であり、したがって確率的に動機付けられたカーネル行列を定義するのに使用できることである。
  論文  参考訳（メタデータ） (2020-09-27T14:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。