論文の概要: Simulation-Based Prior Knowledge Elicitation for Parametric Bayesian
Models
- arxiv url: http://arxiv.org/abs/2308.11672v1
- Date: Tue, 22 Aug 2023 10:43:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 17:18:04.977865
- Title: Simulation-Based Prior Knowledge Elicitation for Parametric Bayesian
Models
- Title(参考訳): パラメトリックベイズモデルに対するシミュレーションに基づく事前知識の導出
- Authors: Florence Bockting, Stefan T. Radev, Paul-Christian B\"urkner
- Abstract要約: 我々は、ドメインエキスパートの知識をモデルパラメータ上の対応する事前分布に変換することに注力する。
既存の適用方法における大きな課題は、モデル構造に関係なく、専門家の期待に沿う事前分布を定式化するために、これらの異なるフォーマットを効果的に活用する方法である。
本研究は,本手法が基礎となるモデル構造に大きく依存し,量子化法,モーメント法,ヒストグラム法など,様々な手法に適応可能であるという主張を裏付けるものである。
- 参考スコア(独自算出の注目度): 1.8810643529425775
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A central characteristic of Bayesian statistics is the ability to
consistently incorporate prior knowledge into various modeling processes. In
this paper, we focus on translating domain expert knowledge into corresponding
prior distributions over model parameters, a process known as prior
elicitation. Expert knowledge can manifest itself in diverse formats, including
information about raw data, summary statistics, or model parameters. A major
challenge for existing elicitation methods is how to effectively utilize all of
these different formats in order to formulate prior distributions that align
with the expert's expectations, regardless of the model structure. To address
these challenges, we develop a simulation-based elicitation method that can
learn the hyperparameters of potentially any parametric prior distribution from
a wide spectrum of expert knowledge using stochastic gradient descent. We
validate the effectiveness and robustness of our elicitation method in four
representative case studies covering linear models, generalized linear models,
and hierarchical models. Our results support the claim that our method is
largely independent of the underlying model structure and adaptable to various
elicitation techniques, including quantile-based, moment-based, and
histogram-based methods.
- Abstract(参考訳): ベイズ統計の重要な特徴は、先行知識を様々なモデリングプロセスに一貫して組み込む能力である。
本稿では,ドメインエキスパートの知識をモデルパラメータ上の対応する事前分布に翻訳することに焦点を当てる。
専門家の知識は、生データ、要約統計、モデルパラメータなど、さまざまなフォーマットで表現することができる。
既存の適用方法における大きな課題は、モデル構造に関係なく、専門家の期待に沿う事前分布を定式化するために、これらの異なるフォーマットを効果的に活用する方法である。
これらの課題に対処するために,確率勾配降下を用いた多種多様な専門知識から,任意のパラメトリック事前分布のハイパーパラメータを学習できるシミュレーションベースのエリケーション法を開発した。
線形モデル,一般化線形モデル,階層モデルを含む4つの代表的なケーススタディにおいて,本手法の有効性とロバスト性を検証する。
以上の結果から,本手法は基礎となるモデル構造とほぼ独立であり,分位法,モーメント法,ヒストグラム法など様々な推定手法に適応できるという主張を裏付ける。
関連論文リスト
- On the Efficient Marginalization of Probabilistic Sequence Models [3.5897534810405403]
この論文は、複雑な確率的クエリに答えるために自己回帰モデルを使うことに焦点を当てている。
我々は,モデルに依存しない逐次モデルにおいて,境界化のための新しい,効率的な近似手法のクラスを開発する。
論文 参考訳(メタデータ) (2024-03-06T19:29:08Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-17T00:26:31Z) - Planning with Diffusion for Flexible Behavior Synthesis [125.24438991142573]
我々は、できるだけ多くの軌道最適化パイプラインをモデリング問題に折り畳むことがどう見えるか検討する。
我々の技術的アプローチの核心は、軌道を反復的にデノベーションすることで計画する拡散確率モデルにある。
論文 参考訳(メタデータ) (2022-05-20T07:02:03Z) - Model-Based Deep Learning: On the Intersection of Deep Learning and
Optimization [101.32332941117271]
決定アルゴリズムは様々なアプリケーションで使われている。
数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。
モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
論文 参考訳(メタデータ) (2022-05-05T13:40:08Z) - Evaluating the Disentanglement of Deep Generative Models through
Manifold Topology [66.06153115971732]
本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。
複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
論文 参考訳(メタデータ) (2020-06-05T20:54:11Z) - Consistency of Empirical Bayes And Kernel Flow For Hierarchical
Parameter Estimation [18.852474191260445]
本稿では,階層的パラメータを学習する2つのパラダイムについて考察する。
一つは確率ベイズ的視点、特に経験的ベイズ的アプローチからである。
もう1つは、決定論的および近似論的視点、特にカーネルフローアルゴリズムからのものである。
論文 参考訳(メタデータ) (2020-05-22T20:17:48Z) - Amortized Bayesian Inference for Models of Cognition [0.1529342790344802]
専門的なニューラルネットワークアーキテクチャを用いたシミュレーションベース推論の最近の進歩は、ベイズ近似計算の多くの過去の問題を回避している。
本稿では,アモータイズされたベイズパラメータの推定とモデル比較について概説する。
論文 参考訳(メタデータ) (2020-05-08T08:12:15Z) - Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。
提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。
提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2020-04-22T15:15:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。