Fugu-MT 論文翻訳(概要): A Neural Difference-of-Entropies Estimator for Mutual Information

論文の概要: A Neural Difference-of-Entropies Estimator for Mutual Information

arxiv url: http://arxiv.org/abs/2502.13085v1
Date: Tue, 18 Feb 2025 17:48:25 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-19 14:07:44.288949
Title: A Neural Difference-of-Entropies Estimator for Mutual Information
Title（参考訳）: 相互情報のためのニューラル差分エントロピー推定器
Authors: Haoran Ni, Martin Lotz,
Abstract要約: 正規化フローを用いた条件密度のパラメータ化に基づく新しい相互情報推定器を提案する。この推定器は、標準ベンチマークタスクにおけるバイアス分散トレードオフを改善するために、ブロック自己回帰構造を利用する。
参考スコア（独自算出の注目度）: 2.3020018305241337
License:
Abstract: Estimating Mutual Information (MI), a key measure of dependence of random quantities without specific modelling assumptions, is a challenging problem in high dimensions. We propose a novel mutual information estimator based on parametrizing conditional densities using normalizing flows, a deep generative model that has gained popularity in recent years. This estimator leverages a block autoregressive structure to achieve improved bias-variance trade-offs on standard benchmark tasks.
Abstract（参考訳）: 相互情報(MI)の推定は、特定のモデリング仮定を使わずに無作為量の依存の鍵となる尺度であり、高次元において難しい問題である。近年普及している高次生成モデルである正規化フローを用いた条件密度のパラメータ化に基づく新しい相互情報推定手法を提案する。この推定器は、標準ベンチマークタスクにおけるバイアス分散トレードオフを改善するために、ブロック自己回帰構造を利用する。

関連論文リスト

InfoBridge: Mutual Information estimation via Bridge Matching [64.11574776911542]
拡散ブリッジ理論を用いることで,従来のMI推定器では困難であるデータに対する非バイアス推定器を構築することができることを示す。我々は,一連の標準MI推定ベンチマークにおいて,推定器の性能を示す。
論文参考訳（メタデータ） (2025-02-03T14:18:37Z)
REMEDI: Corrective Transformations for Improved Neural Entropy Estimation [0.7488108981865708]
我々は微分エントロピーの効率的かつ正確な推定のために$textttREMEDI$を紹介した。提案手法は,幅広い推定課題にまたがる改善を実証する。自然に情報理論による教師あり学習モデルに拡張することができる。
論文参考訳（メタデータ） (2024-02-08T14:47:37Z)
Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。本手法は, 精度の高い問題に特に適している。提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文参考訳（メタデータ） (2023-11-08T00:10:21Z)
Beyond Normal: On the Evaluation of Mutual Information Estimators [52.85079110699378]
そこで本研究では,既知の地道的相互情報を用いて,多種多様な分布群を構築する方法について述べる。本稿では,問題の難易度に適応した適切な推定器の選択方法について,実践者のためのガイドラインを提供する。
論文参考訳（メタデータ） (2023-06-19T17:26:34Z)
Distributional Learning of Variational AutoEncoder: Application to Synthetic Data Generation [0.7614628596146602]
本稿では,VAEフレームワークの計算上の利点を犠牲にすることなく,モデル容量を拡大する手法を提案する。 VAEモデルのデコーダは、非対称ラプラス分布の無限混合からなる。提案したモデルを合成データ生成に適用し,特にデータプライバシの調整が容易であることを示す。
論文参考訳（メタデータ） (2023-02-22T11:26:50Z)
ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
論文参考訳（メタデータ） (2022-06-24T08:18:05Z)
Diffusion Causal Models for Counterfactual Estimation [18.438307666925425]
本稿では,観測画像データから因果構造を推定する作業について考察する。 Diff-SCMは,近年の発電エネルギーモデルの発展を基盤とした構造因果モデルである。 Diff-SCMはMNISTデータに基づくベースラインよりも現実的で最小限のデファクトアルを生成しており、ImageNetデータにも適用可能である。
論文参考訳（メタデータ） (2022-02-21T12:23:01Z)
Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文参考訳（メタデータ） (2021-06-01T19:19:49Z)
C-MI-GAN : Estimation of Conditional Mutual Information using MinMax formulation [20.57104064155529]
我々は,条件付き相互情報(CMI)推定を,その定式化をミニマックス最適化問題として利用して検討する。提案した推定器は,様々なシミュレーションデータセットに対する既存手法よりも優れた推定値を提供する。 CMI推定の応用として、実データ上での条件付き独立テスト(CI)のための推定器をデプロイし、最先端のCIテスタよりも優れた結果を得る。
論文参考訳（メタデータ） (2020-05-17T11:22:12Z)
SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
論文参考訳（メタデータ） (2020-04-01T11:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。