論文の概要: A Deep Bayesian Nonparametric Framework for Robust Mutual Information Estimation
- arxiv url: http://arxiv.org/abs/2503.08902v1
- Date: Tue, 11 Mar 2025 21:27:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-13 21:17:52.531412
- Title: A Deep Bayesian Nonparametric Framework for Robust Mutual Information Estimation
- Title（参考訳）: 頑健な相互情報推定のためのディープベイズ非パラメトリックフレームワーク
- Authors: Forough Fazeliasl, Michael Minyi Zhang, Bei Jiang, Linglong Kong,
- Abstract要約: 相互情報(MI)は、変数間の依存関係をキャプチャするための重要な手段である。
正規化を組み込むためにディリクレ過程後部の有限表現でMI損失を構成することでMI推定器を訓練するソリューションを提案する。
データ空間と変分オートエンコーダの潜時空間の間のMIを最大化するための推定器の適用について検討する。
- 参考スコア（独自算出の注目度）: 9.68824512279232
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mutual Information (MI) is a crucial measure for capturing dependencies between variables, but exact computation is challenging in high dimensions with intractable likelihoods, impacting accuracy and robustness. One idea is to use an auxiliary neural network to train an MI estimator; however, methods based on the empirical distribution function (EDF) can introduce sharp fluctuations in the MI loss due to poor out-of-sample performance, destabilizing convergence. We present a Bayesian nonparametric (BNP) solution for training an MI estimator by constructing the MI loss with a finite representation of the Dirichlet process posterior to incorporate regularization in the training process. With this regularization, the MI loss integrates both prior knowledge and empirical data to reduce the loss sensitivity to fluctuations and outliers in the sample data, especially in small sample settings like mini-batches. This approach addresses the challenge of balancing accuracy and low variance by effectively reducing variance, leading to stabilized and robust MI loss gradients during training and enhancing the convergence of the MI approximation while offering stronger theoretical guarantees for convergence. We explore the application of our estimator in maximizing MI between the data space and the latent space of a variational autoencoder. Experimental results demonstrate significant improvements in convergence over EDF-based methods, with applications across synthetic and real datasets, notably in 3D CT image generation, yielding enhanced structure discovery and reduced overfitting in data synthesis. While this paper focuses on generative models in application, the proposed estimator is not restricted to this setting and can be applied more broadly in various BNP learning procedures.
- Abstract（参考訳）: 相互情報(MI)は変数間の依存関係を捉える上で重要な尺度であるが、正確な計算は難易度の高い高次元において困難であり、精度と堅牢性に影響を与える。
1つの考えは、補助ニューラルネットワークを用いてMI推定器を訓練することであるが、経験的分布関数(EDF)に基づく手法は、サンプル外性能の低下によるMI損失の急激な変動を導入し、収束を安定化させる。
ディリクレ過程後部の有限表現でMI損失を構築してMI推定器をトレーニングするためのベイズ非パラメトリック(BNP)ソリューションを提案し、トレーニングプロセスに正規化を組み込む。
この正規化により、MI損失は事前の知識と経験的データの両方を統合し、特にミニバッチのような小さなサンプル設定において、サンプルデータのゆらぎや外れ値に対する損失感度を低下させる。
この手法は、分散を効果的に低減し、トレーニング中のMI損失勾配を安定化し、MI近似の収束を高めるとともに、収束に関するより強力な理論的保証を提供することによって、精度と低分散のバランスをとるという課題に対処する。
データ空間と変分オートエンコーダの潜時空間の間のMIを最大化するための推定器の適用について検討する。
実験により,EDF法よりもコンバージェンスが大幅に向上し,合成データセットや実データ,特に3次元CT画像生成に応用され,構造発見が向上し,データ合成におけるオーバーフィッティングが低減された。
本稿では, 応用における生成モデルに焦点をあてるが, 提案した推定器はこの設定に制限されず, 様々なBNP学習手順でより広く適用することができる。
関連論文リスト
- Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-17T08:32:25Z) - Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems [89.35169042718739]
協調推論により、クラウドサーバに機密データを公開することなく、エンドユーザは強力なディープラーニングモデルを活用することができる。
近年の研究では、これらの中間機能は、情報が漏洩し、生データをモデル反転攻撃(MIA)によって再構築できるため、プライバシーを十分に保持できないことが判明している。
この研究はまず、与えられた中間特徴の入力の条件エントロピーが、任意のMIAの下での再構成平均二乗誤差(MSE)の保証された下界を与えることを理論的に証明する。
そして、ガウス混合推定に基づいて、この条件付きエントロピーを有界化するための微分可能かつ可解な尺度を導出し、逆ロバスト性を高める条件付きエントロピーアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-03-01T07:15:21Z) - Muti-Fidelity Prediction and Uncertainty Quantification with Laplace Neural Operators for Parametric Partial Differential Equations [6.03891813540831]
Laplace Neural Operators (LNOs) は、科学機械学習において有望なアプローチとして登場した。
低忠実度ベースモデルと並列線形/非線形HF補正と動的相互重み付けを組み合わせた多忠実Laplace Neural Operator (MF-LNOs)を提案する。
これにより、LFデータセットとHFデータセットの相関を利用して、興味のある量の正確な推測を行うことができる。
論文 参考訳（メタデータ） (2025-02-01T20:38:50Z) - Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
異常と欠落したデータは、産業応用における厄介な問題を構成する。
ディープラーニングによる異常検出が重要な方向として現れている。
エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
論文 参考訳（メタデータ） (2024-11-06T15:38:31Z) - PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
PseudoNeg-MAEは,ポイントマスク自動エンコーダのグローバルな特徴表現を強化する,自己教師型学習フレームワークである。
PseudoNeg-MAE は ModelNet40 と ScanObjectNN のデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-09-24T07:57:21Z) - Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties [3.269165283595478]
IoT(Internet-of-Things)の分散センサーは、大量のスパースデータを生成する。
本稿では, 滑らか化機構をそのビューに統合し, 精度と計算速度を両立させる, 結合型滑らか化近位勾配(G)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-10T21:50:19Z) - Towards Understanding Variants of Invariant Risk Minimization through the Lens of Calibration [0.6906005491572401]
本稿では,Information BottleneckをベースとしたITMが,異なる環境における一貫したキャリブレーションを実現することを示す。
私たちの経験的証拠は、環境全体にわたって一貫した校正を示すモデルも十分に校正されていることを示している。
論文 参考訳（メタデータ） (2024-01-31T02:08:43Z) - Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳（メタデータ） (2023-12-10T15:22:30Z) - Probabilistic MIMO U-Net: Efficient and Accurate Uncertainty Estimation
for Pixel-wise Regression [1.4528189330418977]
機械学習における不確実性推定は、予測モデルの信頼性と解釈可能性を高めるための最重要課題である。
画素ワイド回帰タスクに対するMIMO(Multiple-Input Multiple-Output)フレームワークの適応について述べる。
論文 参考訳（メタデータ） (2023-08-14T22:08:28Z) - Probabilistic partition of unity networks: clustering based deep
approximation [0.0]
ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。
ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。
本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
論文 参考訳（メタデータ） (2021-07-07T08:02:00Z) - Tight Mutual Information Estimation With Contrastive Fenchel-Legendre
Optimization [69.07420650261649]
我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。
実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。
FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
論文 参考訳（メタデータ） (2021-07-02T15:20:41Z) - Statistical control for spatio-temporal MEG/EEG source imaging with
desparsified multi-task Lasso [102.84915019938413]
脳磁図(MEG)や脳電図(EEG)のような非侵襲的手法は、非侵襲的手法を約束する。
ソースローカライゼーション(ソースイメージング)の問題は、しかしながら、高次元の統計的推測問題を引き起こす。
この問題に対処するために,分離されたマルチタスクラッソ(ecd-MTLasso)のアンサンブルを提案する。
論文 参考訳（メタデータ） (2020-09-29T21:17:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。