論文の概要: A Metropolis-Adjusted Langevin Algorithm for Sampling Jeffreys Prior
- arxiv url: http://arxiv.org/abs/2504.06372v3
- Date: Wed, 27 Aug 2025 19:40:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-29 13:55:31.040774
- Title: A Metropolis-Adjusted Langevin Algorithm for Sampling Jeffreys Prior
- Title（参考訳）: ジェフリーの事前サンプリングのためのメトロポリス調整ランジュバンアルゴリズム
- Authors: Yibo Shi, Braghadeesh Lakshminarayanan, Cristian R. Rojas,
- Abstract要約: 推測と推定は統計学、システム識別、機械学習において基本的なものである。
ジェフリーズ事前はフィッシャー情報行列を通してパラメータ空間の固有の幾何学構造を符号化するので、魅力ある非形式的先行である。
我々は,ジェフリーズ以前のパラメータ値のサンプリングを可能にするメトロポリス調整ランゲヴィンアルゴリズムを用いて,一般的なサンプリング手法を開発した。
- 参考スコア（独自算出の注目度）: 3.6635042413473937
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inference and estimation are fundamental in statistics, system identification, and machine learning. When prior knowledge about the system is available, Bayesian analysis provides a natural framework for encoding it through a prior distribution. In practice, such knowledge is often too vague to specify a full prior distribution, motivating the use of default 'uninformative' priors that minimize subjective bias. Jeffreys prior is an appealing uninformative prior because: (i) it is invariant under any re-parameterization of the model, (ii) it encodes the intrinsic geometric structure of the parameter space through the Fisher information matrix, which in turn enhances the diversity of parameter samples. Despite these benefits, drawing samples from Jeffreys prior is challenging. In this paper, we develop a general sampling scheme using the Metropolis-Adjusted Langevin Algorithm that enables sampling of parameter values from Jeffreys prior; the method extends naturally to nonlinear state-space models. The resulting samples can be directly used in sampling-based system identification methods and Bayesian experiment design, providing an objective, information-geometric description of parameter uncertainty. Several numerical examples demonstrate the efficiency and accuracy of the proposed scheme.
- Abstract（参考訳）: 推測と推定は統計学、システム識別、機械学習において基本的なものである。
システムに関する事前の知識が得られれば、ベイズ解析はそれを以前の分布を通して符号化するための自然なフレームワークを提供する。
実際には、そのような知識は、完全な事前分布を特定するには曖昧すぎることが多く、主観的バイアスを最小限に抑えるデフォルトの「非形式的」事前の使用を動機付けている。
Jeffreys prior は、下記のような非形式的な前置詞である。
(i)モデルの再パラメータ化の下で不変である。
(II)フィッシャー情報行列を用いてパラメータ空間の固有幾何学構造を符号化し,パラメータ標本の多様性を高める。
これらの利点にもかかわらず、Jeffreys氏の以前のサンプルの描画は難しい。
本稿では,ジェフリーズからパラメータ値のサンプリングを可能にするMetropolis-Adjusted Langevin Algorithmを用いた一般的なサンプリング手法を開発し,非線形状態空間モデルに自然に拡張する。
得られたサンプルはサンプリングに基づくシステム同定法やベイズの実験設計に直接使用することができ、パラメータの不確かさの客観的かつ情報幾何学的記述を提供する。
いくつかの数値的な例は、提案方式の効率性と精度を示している。
関連論文リスト
- Generalization Guarantees for Representation Learning via Data-Dependent Gaussian Mixture Priors [14.453654853392619]
我々は、表現学習型アルゴリズムの一般化誤差に基づいて、予測内およびテール境界を確立する。
本稿では,データ依存型ガウス混合を同時に学習し,それを正規化器として用いるための体系的アプローチを提案する。
論文 参考訳（メタデータ） (2025-02-21T15:43:31Z) - Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。
圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
論文 参考訳（メタデータ） (2024-09-19T17:56:16Z) - Tackling the Problem of Distributional Shifts: Correcting Misspecified, High-Dimensional Data-Driven Priors for Inverse Problems [39.58317527488534]
天体物理学の応用では、基礎となるデータ生成プロセスから独立した、あるいは同一に分散したサンプルを取得することはしばしば困難または不可能である。
本稿では,異なる観測セットの後方サンプルを用いてモデルを再学習し,集団レベルの分布を反復的に更新することでこの問題に対処することを提案する。
そこで本研究では,不特定分布から,更新分布が個体群レベルの分布に徐々に近づきつつあることを示す。
論文 参考訳（メタデータ） (2024-07-24T22:39:27Z) - Informed Spectral Normalized Gaussian Processes for Trajectory Prediction [0.0]
本稿では,SNGPの正規化に基づく連続学習手法を提案する。
提案手法は確立された手法に基づいており,リハーサルメモリやパラメータ拡張を必要としない。
本研究では, 自律運転における軌道予測問題に対する情報SNGPモデルの適用について検討した。
論文 参考訳（メタデータ） (2024-03-18T17:05:24Z) - Variational autoencoder with weighted samples for high-dimensional
non-parametric adaptive importance sampling [0.0]
既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。
モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。
提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
論文 参考訳（メタデータ） (2023-10-13T15:40:55Z) - The Choice of Noninformative Priors for Thompson Sampling in
Multiparameter Bandit Models [56.31310344616837]
トンプソンサンプリング(TS)は、様々な報酬モデルにまたがる理論的な保証によって支持される卓越した経験的性能で知られている。
本研究では,理論的理解の欠如のある新しいモデルを扱う際に,非形式的事前選択がTSの性能に与える影響について考察する。
論文 参考訳（メタデータ） (2023-02-28T08:42:42Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - Far from Asymptopia [0.0]
限られたデータからの推論はパラメータ空間上の測度の概念を必要とするが、ベイズフレームワークは前者として最も明示的である。
ここでは、最もよく知られた非形式的選択であるジェフリーズ先行が、典型的な科学的モデルに適用した場合に巨大なバイアスをもたらすことを示した。
この問題を回避し、複雑なモデルにおける偏りのない推論につながるような、原則化された測度の選択に関する結果を示す。
論文 参考訳（メタデータ） (2022-05-06T16:23:12Z) - Transformers Can Do Bayesian Inference [56.99390658880008]
我々はPFN(Presideed Data Fitted Networks)を提案する。
PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。
我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
論文 参考訳（メタデータ） (2021-12-20T13:07:39Z) - Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。
本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文 参考訳（メタデータ） (2021-04-13T12:20:18Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。