論文の概要: How to use KL-divergence to construct conjugate priors, with well-defined non-informative limits, for the multivariate Gaussian

• arxiv url: http://arxiv.org/abs/2109.07384v2
• Date: Thu, 16 Sep 2021 10:21:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-17 10:45:06.607665
• Title: How to use KL-divergence to construct conjugate priors, with well-defined non-informative limits, for the multivariate Gaussian
• Title（参考訳）: 多変数ガウス多様体に対するKL-発散を用いた共役前駆体の構築
• Authors: Niko Br\"ummer
• Abstract要約: Wishart と normal-Wishart の共役前駆体を構築するためのエネルギー関数として多変量ガウス多様体間のスケールした KL 分割を利用する方法を示す。 これらの分布の健全な特徴はモードであり、KLスケーリング係数は擬似数として機能する。
• 参考スコア（独自算出の注目度）: 0.6091702876917281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Wishart distribution is the standard conjugate prior for the precision of the multivariate Gaussian likelihood, when the mean is known -- while the normal-Wishart can be used when the mean is also unknown. It is however not so obvious how to assign values to the hyperparameters of these distributions. In particular, when forming non-informative limits of these distributions, the shape (or degrees of freedom) parameter of the Wishart must be handled with care. The intuitive solution of directly interpreting the shape as a pseudocount and letting it go to zero, as proposed by some authors, violates the restrictions on the shape parameter. We show how to use the scaled KL-divergence between multivariate Gaussians as an energy function to construct Wishart and normal-Wishart conjugate priors. When used as informative priors, the salient feature of these distributions is the mode, while the KL scaling factor serves as the pseudocount. The scale factor can be taken down to the limit at zero, to form non-informative priors that do not violate the restrictions on the Wishart shape parameter. This limit is non-informative in the sense that the posterior mode is identical to the maximum likelihood estimate of the parameters of the Gaussian.
• Abstract（参考訳）: ウィッシュアート分布は、平均が知られているときの多変量ガウス確率の精度の前の標準共役であり、また平均が未知であるときの通常のウィッシュアートも用いられる。 しかし、これらの分布のハイパーパラメータに値を割り当てる方法はあまり明確ではない。 特に、これらの分布の非インフォーマルな極限を形成する場合、ウィッシュアートの形状(あるいは自由度)パラメータは注意して扱う必要がある。 擬似数として形を直接解釈してゼロにする直感的な解法は、いくつかの著者が提案したように、形状パラメータの制限に違反している。 Wishart と normal-Wishart の共役前駆体を構築するためのエネルギー関数として多変量ガウス多様体間のスケールした KL 分割を利用する方法を示す。 情報プリエントとして使用される場合、これらの分布のサルエント特徴はモードであり、klスケーリング係数は擬似数として機能する。 スケール係数はゼロの極限まで下げることができ、ウィッシュアート形状パラメータの制約に違反しない非インフォーマティブな事前値を形成することができる。 この極限は、後続モードがガウスのパラメータの最大推定値と同一であるという意味では非形式的である。

関連論文リスト

• Tempered Calculus for ML: Application to Hyperbolic Model Embedding [70.61101116794549]
  MLで使用されるほとんどの数学的歪みは、本質的に自然界において積分的である。 本稿では,これらの歪みを改善するための基礎的理論とツールを公表し,機械学習の要件に対処する。 我々は、最近MLで注目を集めた問題、すなわち、ハイパーボリック埋め込みを「チープ」で正確なエンコーディングで適用する方法を示す。
  論文  参考訳（メタデータ） (2024-02-06T17:21:06Z)
• Implicit Manifold Gaussian Process Regression [49.0787777751317]
  ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。 これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。 本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T09:52:48Z)
• KL Convergence Guarantees for Score diffusion models under minimal data assumptions [9.618473763561418]
  注目すべき課題は、包括的な定量的結果の欠如という形で続いている。 この記事では、Ornstein-Uhlenbeck半群とその運動論的対応から生じる一定のステップサイズを持つスコア拡散モデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-08-23T16:31:08Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications [71.23286211775084]
  未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。 提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。 実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-06T17:10:01Z)
• Dimension-robust Function Space MCMC With Neural Network Priors [0.0]
  本稿では、関数の領域の次元においてより有利にスケールする関数空間に関する新しい先例を紹介する。 その結果得られた未知関数の後方は、ヒルベルト空間マルコフ連鎖モンテカルロ法を用いてサンプリングできることがわかった。 我々の優先順位は競争的であり、他の関数空間よりも異なる利点があることを示している。
  論文  参考訳（メタデータ） (2020-12-20T14:52:57Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)
• Exponentially Weighted l_2 Regularization Strategy in Constructing Reinforced Second-order Fuzzy Rule-based Model [72.57056258027336]
  従来の高木スゲノカン(TSK)型ファジィモデルでは、定数あるいは線形関数がファジィ規則の連続部分として使用されるのが普通である。 調和解析で遭遇する重み関数理論にインスパイアされた指数重みアプローチを導入する。
  論文  参考訳（メタデータ） (2020-07-02T15:42:15Z)
• Relevance Vector Machine with Weakly Informative Hyperprior and Extended Predictive Information Criterion [0.0]
  ゼロに近い形状パラメータとゼロに近づかないスケールパラメータを持つ逆ガンマハイパープラーを提案する。 この超高次効果は、非均一データへの回帰を通じて研究される。
  論文  参考訳（メタデータ） (2020-05-07T12:37:19Z)
• Variational Autoencoders with Riemannian Brownian Motion Priors [4.8461049669050915]
  変分オートエンコーダ(VAEs)は、一般にユークリッドであると仮定される低次元の潜在空間における与えられたデータを表す。 最近の研究は、この前はモデルキャパシティに有害な影響があり、性能が劣ることを示している。 本稿では、この前の未知の正規化因子に依存しない効率的な推論手法を提案する。
  論文  参考訳（メタデータ） (2020-02-12T20:35:21Z)
• Sub-Gaussian Matrices on Sets: Optimal Tail Dependence and Applications [6.034622792544481]
  ガウス行列が集合上の近距離等距離となる場合について検討する。 我々は、ガウス以下のノルムに対するこれまでの最もよく知られた依存は準最適であることを示した。 また、部分指数確率変数に対する新しいベルンシュタイン型不等式や、準ガウス確率変数の二次形式に対する新しいハンソン-ライト不等式も開発する。
  論文  参考訳（メタデータ） (2020-01-28T23:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。