論文の概要: The Mixtures and the Neural Critics: On the Pointwise Mutual Information
Profiles of Fine Distributions
- arxiv url: http://arxiv.org/abs/2310.10240v1
- Date: Mon, 16 Oct 2023 10:02:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 15:18:45.461905
- Title: The Mixtures and the Neural Critics: On the Pointwise Mutual Information
Profiles of Fine Distributions
- Title(参考訳): 混合と神経批判--微細分布の点的相互情報プロファイルについて
- Authors: Pawe{\l} Czy\.z, Frederic Grabowski, Julia E. Vogt, Niko Beerenwinkel,
Alexander Marx
- Abstract要約: 本稿では,情報分布の微細化をポイントワイドな情報プロファイルの近似に利用する方法を示す。
また, 相互情報のモデルに基づくベイズ推定において, 詳細な分布をいかに利用できるかを示す。
- 参考スコア(独自算出の注目度): 52.85079110699378
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mutual information quantifies the dependence between two random variables and
remains invariant under diffeomorphisms. In this paper, we explore the
pointwise mutual information profile, an extension of mutual information that
maintains this invariance. We analytically describe the profiles of
multivariate normal distributions and introduce the family of fine
distributions, for which the profile can be accurately approximated using Monte
Carlo methods. We then show how fine distributions can be used to study the
limitations of existing mutual information estimators, investigate the behavior
of neural critics used in variational estimators, and understand the effect of
experimental outliers on mutual information estimation. Finally, we show how
fine distributions can be used to obtain model-based Bayesian estimates of
mutual information, suitable for problems with available domain expertise in
which uncertainty quantification is necessary.
- Abstract(参考訳): 相互情報は2つの確率変数間の依存を定量化し、微分同相の下では不変である。
本稿では,この不変性を維持する相互情報の拡張であるpointwise mutual information profileについて検討する。
我々は多変量正規分布のプロファイルを解析的に記述し、モンテカルロ法を用いてそのプロファイルを正確に近似できる微分布の族を導入する。
次に,既存の相互情報推定器の限界,変動推定器で使用される神経批判者の行動,実験的外れ値が相互情報推定に与える影響を理解するために,きめの細かい分布を用いた方法を示す。
最後に,不確実性定量化が必要な領域の専門知識問題に適した相互情報のモデルベースベイズ推定を得るために,細かな分布がいかに用いられるかを示す。
関連論文リスト
- Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - Beyond Normal: On the Evaluation of Mutual Information Estimators [52.85079110699378]
そこで本研究では,既知の地道的相互情報を用いて,多種多様な分布群を構築する方法について述べる。
本稿では,問題の難易度に適応した適切な推定器の選択方法について,実践者のためのガイドラインを提供する。
論文 参考訳(メタデータ) (2023-06-19T17:26:34Z) - Inferential Moments of Uncertain Multivariable Systems [0.0]
我々はベイズ確率の更新をランダムなプロセスとして扱い、推論モーメントと呼ばれる結合確率分布の固有量的特徴を明らかにする。
推論モーメントは、まだ取得されていない情報に応じて、事前分布がどのように更新されるかについての形状情報を定量化する。
情報理論の要素と推論理論の関連性を示す推論モーメントの観点から,相互情報の時系列展開を求める。
論文 参考訳(メタデータ) (2023-05-03T00:56:12Z) - Bayesian Hierarchical Models for Counterfactual Estimation [12.159830463756341]
本稿では,多種多様なカウンターファクトの集合を推定する確率的パラダイムを提案する。
摂動を事前分布関数によるランダム変数として扱う。
収束特性の優れた勾配ベースサンプリング器は、後方サンプルを効率的に計算する。
論文 参考訳(メタデータ) (2023-01-21T00:21:11Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - BayesIMP: Uncertainty Quantification for Causal Data Fusion [52.184885680729224]
本研究では,複数の因果グラフに関連するデータセットを組み合わせ,対象変数の平均処理効果を推定する因果データ融合問題について検討する。
本稿では、確率積分とカーネル平均埋め込みのアイデアを組み合わせて、再生されたカーネルヒルベルト空間における干渉分布を表現するフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-07T10:14:18Z) - DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。
近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。
提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
論文 参考訳(メタデータ) (2020-10-05T04:19:27Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳(メタデータ) (2020-07-21T08:18:06Z) - Identification Methods With Arbitrary Interventional Distributions as
Inputs [8.185725740857595]
因果推論は、データから反事実パラメータを推定することで、原因と影響の関係を定量化する。
我々は、単一世界干渉グラフと混合グラフに関連付けられたモデルのネスト係数化を用いて、実験データに対する既存の識別理論の非常に単純なビューを提供する。
論文 参考訳(メタデータ) (2020-04-02T17:27:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。