論文の概要: A Metropolis-Adjusted Langevin Algorithm for Sampling Jeffreys Prior

• arxiv url: http://arxiv.org/abs/2504.06372v2
• Date: Tue, 15 Apr 2025 13:25:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:07:13.217081
• Title: A Metropolis-Adjusted Langevin Algorithm for Sampling Jeffreys Prior
• Title（参考訳）: ジェフリーの事前サンプリングのためのメトロポリス調整ランジュバンアルゴリズム
• Authors: Yibo Shi, Braghadeesh Lakshminarayanan, Cristian R. Rojas,
• Abstract要約: 推測と推定は統計学、システム同定、機械学習の基本的な側面である。 Jeffreys氏は2つの重要な利点があるので、前もって魅力ある非形式的だ。 本稿では,メトロポリス調整ランゲヴィンアルゴリズムを用いた一般的なサンプリング手法を提案する。
• 参考スコア（独自算出の注目度）: 5.500172106704342
• License:
• Abstract: Inference and estimation are fundamental aspects of statistics, system identification and machine learning. For most inference problems, prior knowledge is available on the system to be modeled, and Bayesian analysis is a natural framework to impose such prior information in the form of a prior distribution. However, in many situations, coming out with a fully specified prior distribution is not easy, as prior knowledge might be too vague, so practitioners prefer to use a prior distribution that is as `ignorant' or `uninformative' as possible, in the sense of not imposing subjective beliefs, while still supporting reliable statistical analysis. Jeffreys prior is an appealing uninformative prior because it offers two important benefits: (i) it is invariant under any re-parameterization of the model, (ii) it encodes the intrinsic geometric structure of the parameter space through the Fisher information matrix, which in turn enhances the diversity of parameter samples. Despite these benefits, drawing samples from Jeffreys prior is a challenging task. In this paper, we propose a general sampling scheme using the Metropolis-Adjusted Langevin Algorithm that enables sampling of parameter values from Jeffreys prior, and provide numerical illustrations of our approach through several examples.
• Abstract（参考訳）: 推測と推定は統計学、システム同定、機械学習の基本的な側面である。 ほとんどの推論問題に対して、事前知識はモデル化されるシステム上で利用可能であり、ベイズ解析はそのような事前情報を事前分布の形で課す自然な枠組みである。 しかし、多くの状況では、事前の知識が曖昧すぎるため、完全に指定された事前の分布から得られることは容易ではないため、実践者は、信頼できる統計的分析を維持しながら、主観的信念を含まないという意味で、可能な限り「無知」や「非形式的」のような事前の分布を使うのが好まれる。 Jeffreys preは2つの重要な利点があるので、魅力ある非形式的事前である。 (i)モデルの再パラメータ化の下で不変である。 (II)フィッシャー情報行列を用いてパラメータ空間の固有幾何学構造を符号化し,パラメータ標本の多様性を高める。 これらのメリットにもかかわらず、Jeffreys氏の以前のサンプルの描画は難しい作業である。 本稿では,ジェフリーズからパラメータ値のサンプリングを可能にするMetropolis-Adjusted Langevin Algorithmを用いた一般的なサンプリング手法を提案する。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Tackling the Problem of Distributional Shifts: Correcting Misspecified, High-Dimensional Data-Driven Priors for Inverse Problems [39.58317527488534]
  天体物理学の応用では、基礎となるデータ生成プロセスから独立した、あるいは同一に分散したサンプルを取得することはしばしば困難または不可能である。 本稿では,異なる観測セットの後方サンプルを用いてモデルを再学習し,集団レベルの分布を反復的に更新することでこの問題に対処することを提案する。 そこで本研究では,不特定分布から,更新分布が個体群レベルの分布に徐々に近づきつつあることを示す。
  論文  参考訳（メタデータ） (2024-07-24T22:39:27Z)
• Informed Spectral Normalized Gaussian Processes for Trajectory Prediction [0.0]
  本稿では,SNGPの正規化に基づく連続学習手法を提案する。 提案手法は確立された手法に基づいており,リハーサルメモリやパラメータ拡張を必要としない。 本研究では, 自律運転における軌道予測問題に対する情報SNGPモデルの適用について検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:05:24Z)
• Variational autoencoder with weighted samples for high-dimensional non-parametric adaptive importance sampling [0.0]
  既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。 モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。 提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
  論文  参考訳（メタデータ） (2023-10-13T15:40:55Z)
• The Choice of Noninformative Priors for Thompson Sampling in Multiparameter Bandit Models [56.31310344616837]
  トンプソンサンプリング(TS)は、様々な報酬モデルにまたがる理論的な保証によって支持される卓越した経験的性能で知られている。 本研究では,理論的理解の欠如のある新しいモデルを扱う際に,非形式的事前選択がTSの性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2023-02-28T08:42:42Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Far from Asymptopia [0.0]
  限られたデータからの推論はパラメータ空間上の測度の概念を必要とするが、ベイズフレームワークは前者として最も明示的である。 ここでは、最もよく知られた非形式的選択であるジェフリーズ先行が、典型的な科学的モデルに適用した場合に巨大なバイアスをもたらすことを示した。 この問題を回避し、複雑なモデルにおける偏りのない推論につながるような、原則化された測度の選択に関する結果を示す。
  論文  参考訳（メタデータ） (2022-05-06T16:23:12Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Multivariate Deep Evidential Regression [77.34726150561087]
  不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。 本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
  論文  参考訳（メタデータ） (2021-04-13T12:20:18Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Predictive Complexity Priors [3.5547661483076998]
  本稿では,モデルの予測と参照モデルの予測を比較して定義する機能的先行モデルを提案する。 もともとはモデル出力で定義されていたが、変数の変更によってモデルパラメータの前の値を転送する。 我々は,高次元回帰,ニューラルネットワーク深度の推論,数ショット学習における統計的強度の共有に先立って,予測複雑性を適用した。
  論文  参考訳（メタデータ） (2020-06-18T18:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。