論文の概要: Non-trivial informational closure of a Bayesian hyperparameter
- arxiv url: http://arxiv.org/abs/2010.01855v1
- Date: Mon, 5 Oct 2020 08:35:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 20:30:22.802680
- Title: Non-trivial informational closure of a Bayesian hyperparameter
- Title（参考訳）: ベイズハイパーパラメータの非自明な情報閉鎖
- Authors: Martin Biehl and Ryota Kanai
- Abstract要約: 同一かつ独立に分布する有限確率変数の基底分布を推定するベイズハイパーパラメータの非自明な情報閉包(NTIC)について検討する。
一般に,情報ゲインの指標として一段階のNTICは使用できない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the non-trivial informational closure (NTIC) of a Bayesian
hyperparameter inferring the underlying distribution of an identically and
independently distributed finite random variable. For this we embed both the
Bayesian hyper-parameter updating process and the random data process into a
Markov chain. The original publication by Bertschinger et al. (2006) mentioned
that NTIC may be able to capture an abstract notion of modeling that is
agnostic to the specific internal structure of and existence of explicit
representations within the modeling process. The Bayesian hyperparameter is of
interest since it has a well defined interpretation as a model of the data
process and at the same time its dynamics can be specified without reference to
this interpretation. On the one hand we show explicitly that the NTIC of the
hyperparameter increases indefinitely over time. On the other hand we attempt
to establish a connection between a quantity that is a feature of the
interpretation of the hyperparameter as a model, namely the information gain,
and the one-step pointwise NTIC which is a quantity that does not depend on
this interpretation. We find that in general we cannot use the one-step
pointwise NTIC as an indicator for information gain. We hope this exploratory
work can lead to further rigorous studies of the relation between NTIC and
modeling.
- Abstract（参考訳）: 同一かつ独立に分布する有限確率変数の基底分布を推定するベイズハイパーパラメータの非自明な情報閉包(NTIC)について検討する。
このため、ベイズ超パラメータ更新プロセスとランダムデータプロセスの両方をマルコフ連鎖に組み込む。
bertschinger et al. (2006) による最初の出版物では、nticはモデリングプロセス内の特定の内部構造や明示的な表現の存在と無関係なモデリングの抽象概念を捉えることができるかもしれないと言及している。
ベイズ超パラメータは、データ処理のモデルとしてよく定義された解釈を持つと同時に、この解釈を参照せずにそのダイナミクスを指定できるため、興味深い。
一方,ハイパーパラメータのnticが時間とともに無期限に増加することを示す。
一方、ハイパーパラメータをモデルとして解釈する特徴である量、すなわち情報ゲインと、この解釈に依存しない量である一段階のポイントワイズnticとの接続を確立する。
一般に、一段階のポイントワイズnticを情報ゲインの指標として使うことはできない。
この探索的な研究が、nticとモデリングの関係をより厳密に研究できることを期待しています。
関連論文リスト
- Stochastic quantization and diffusion models [0.0]
本稿では,物理学における量子化と機械学習における拡散モデルとの関係について概説する。
機械学習の応用においては、デノナイジング拡散モデルが成功技術として確立されている。
本稿では,スコアベース生成モデルにおけるSDE手法について述べる。
論文 参考訳（メタデータ） (2024-11-18T05:47:41Z) - Robust Counterfactual Explanations for Neural Networks With Probabilistic Guarantees [11.841312820944774]
我々は、微分可能なモデルに対する潜在的なモデル変更に対する反ファクトの堅牢性を定量化するために、 $textitStability$ と呼ぶ尺度を提案します。
私たちの主な貢献は、十分高い値のtextitStability$の反ファクトが、高い確率でポテンシャルモデルが変化した後も有効であることを示すことです。
論文 参考訳（メタデータ） (2023-05-19T20:48:05Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳（メタデータ） (2023-04-07T15:17:48Z) - Context-specific kernel-based hidden Markov model for time series
analysis [9.007829035130886]
カーネル密度推定に基づく隠れマルコフモデルを提案する。
コンテキスト固有のベイズネットワークを使ってカーネルの依存関係をキャプチャできる。
提案モデルによる可能性と分類精度の利点を定量化し分析する。
論文 参考訳（メタデータ） (2023-01-24T09:10:38Z) - Bayesian Learning of Coupled Biogeochemical-Physical Models [28.269731698116257]
海洋生態系の予測モデルは、様々なニーズに使われている。
希少な測定と海洋プロセスの理解が限られているため、かなりの不確実性がある。
候補モデルの空間での処理と新しいモデルの発見を可能にするベイズモデル学習手法を開発した。
論文 参考訳（メタデータ） (2022-11-12T17:49:18Z) - On the detrimental effect of invariances in the likelihood for
variational inference [21.912271882110986]
変分ベイズ後部推論は、トラクタビリティを確保するために平均場パラメトリゼーションのような近似を単純化する必要があることが多い。
これまでの研究は、ベイズニューラルネットワークの変動平均場近似と、小さなデータセットや大きなモデルサイズの場合の不適合を関連付けてきた。
論文 参考訳（メタデータ） (2022-09-15T09:13:30Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - Variational Causal Networks: Approximate Bayesian Inference over Causal
Structures [132.74509389517203]
離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。
実験では,提案した変分後部が真の後部を良好に近似できることを示した。
論文 参考訳（メタデータ） (2021-06-14T17:52:49Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳（メタデータ） (2021-06-01T19:19:49Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳（メタデータ） (2021-02-12T12:23:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。