論文の概要: The Mixtures and the Neural Critics: On the Pointwise Mutual Information
Profiles of Fine Distributions
- arxiv url: http://arxiv.org/abs/2310.10240v1
- Date: Mon, 16 Oct 2023 10:02:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 15:18:45.461905
- Title: The Mixtures and the Neural Critics: On the Pointwise Mutual Information
Profiles of Fine Distributions
- Title（参考訳）: 混合と神経批判--微細分布の点的相互情報プロファイルについて
- Authors: Pawe{\l} Czy\.z, Frederic Grabowski, Julia E. Vogt, Niko Beerenwinkel,
Alexander Marx
- Abstract要約: 本稿では,情報分布の微細化をポイントワイドな情報プロファイルの近似に利用する方法を示す。
また, 相互情報のモデルに基づくベイズ推定において, 詳細な分布をいかに利用できるかを示す。
- 参考スコア（独自算出の注目度）: 52.85079110699378
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mutual information quantifies the dependence between two random variables and
remains invariant under diffeomorphisms. In this paper, we explore the
pointwise mutual information profile, an extension of mutual information that
maintains this invariance. We analytically describe the profiles of
multivariate normal distributions and introduce the family of fine
distributions, for which the profile can be accurately approximated using Monte
Carlo methods. We then show how fine distributions can be used to study the
limitations of existing mutual information estimators, investigate the behavior
of neural critics used in variational estimators, and understand the effect of
experimental outliers on mutual information estimation. Finally, we show how
fine distributions can be used to obtain model-based Bayesian estimates of
mutual information, suitable for problems with available domain expertise in
which uncertainty quantification is necessary.
- Abstract（参考訳）: 相互情報は2つの確率変数間の依存を定量化し、微分同相の下では不変である。
本稿では,この不変性を維持する相互情報の拡張であるpointwise mutual information profileについて検討する。
我々は多変量正規分布のプロファイルを解析的に記述し、モンテカルロ法を用いてそのプロファイルを正確に近似できる微分布の族を導入する。
次に,既存の相互情報推定器の限界,変動推定器で使用される神経批判者の行動,実験的外れ値が相互情報推定に与える影響を理解するために,きめの細かい分布を用いた方法を示す。
最後に,不確実性定量化が必要な領域の専門知識問題に適した相互情報のモデルベースベイズ推定を得るために,細かな分布がいかに用いられるかを示す。
関連論文リスト
- Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。
第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。
第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
論文 参考訳（メタデータ） (2025-02-11T19:24:09Z) - Beyond Normal: On the Evaluation of Mutual Information Estimators [52.85079110699378]
そこで本研究では,既知の地道的相互情報を用いて,多種多様な分布群を構築する方法について述べる。
本稿では,問題の難易度に適応した適切な推定器の選択方法について,実践者のためのガイドラインを提供する。
論文 参考訳（メタデータ） (2023-06-19T17:26:34Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳（メタデータ） (2023-06-07T21:35:26Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳（メタデータ） (2022-04-07T17:59:19Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳（メタデータ） (2022-02-07T21:37:29Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳（メタデータ） (2021-12-02T14:45:16Z) - A likelihood approach to nonparametric estimation of a singular
distribution using deep generative models [4.329951775163721]
深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。
我々は、インスタンスノイズでデータを摂動することで、新しい効果的な解が存在することを証明した。
また、より深い生成モデルにより効率的に推定できる分布のクラスを特徴付ける。
論文 参考訳（メタデータ） (2021-05-09T23:13:58Z) - DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。
近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。
提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
論文 参考訳（メタデータ） (2020-10-05T04:19:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。