論文の概要: Partial Information Decomposition via Normalizing Flows in Latent Gaussian Distributions

• arxiv url: http://arxiv.org/abs/2510.04417v1
• Date: Mon, 06 Oct 2025 01:08:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.638761
• Title: Partial Information Decomposition via Normalizing Flows in Latent Gaussian Distributions
• Title（参考訳）: 潜在ガウス分布における正規化流れによる部分的情報分解
• Authors: Wenyuan Zhao, Adithya Balachandran, Chao Tian, Paul Pu Liang,
• Abstract要約: ガウスPID(GPID)の計算効率を大幅に向上する勾配に基づく新しいアルゴリズムを提案する。 提案手法は,既存のベースラインよりも高精度で効率的なPID推定方法を提供する。 我々は、マルチモーダルデータセットにおけるPIDの定量化の現実的な応用において、その有用性を示すために、大規模マルチモーダルベンチマークのシリーズを評価した。
• 参考スコア（独自算出の注目度）: 24.013410583573318
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The study of multimodality has garnered significant interest in fields where the analysis of interactions among multiple information sources can enhance predictive modeling, data fusion, and interpretability. Partial information decomposition (PID) has emerged as a useful information-theoretic framework to quantify the degree to which individual modalities independently, redundantly, or synergistically convey information about a target variable. However, existing PID methods depend on optimizing over a joint distribution constrained by estimated pairwise probability distributions, which are costly and inaccurate for continuous and high-dimensional modalities. Our first key insight is that the problem can be solved efficiently when the pairwise distributions are multivariate Gaussians, and we refer to this problem as Gaussian PID (GPID). We propose a new gradient-based algorithm that substantially improves the computational efficiency of GPID based on an alternative formulation of the underlying optimization problem. To generalize the applicability to non-Gaussian data, we learn information-preserving encoders to transform random variables of arbitrary input distributions into pairwise Gaussian random variables. Along the way, we resolved an open problem regarding the optimality of joint Gaussian solutions for GPID. Empirical validation in diverse synthetic examples demonstrates that our proposed method provides more accurate and efficient PID estimates than existing baselines. We further evaluate a series of large-scale multimodal benchmarks to show its utility in real-world applications of quantifying PID in multimodal datasets and selecting high-performing models.
• Abstract（参考訳）: マルチモーダル性の研究は、複数の情報ソース間の相互作用の分析が予測モデリング、データ融合、解釈可能性を向上させる分野において大きな関心を集めている。 部分情報分解(PID)は、個々のモダリティが独立に、冗長に、あるいは相乗的に対象変数に関する情報を伝達する程度を定量化する有用な情報理論フレームワークとして登場した。 しかし、既存のPID法は、一対の確率分布によって制約される結合分布の最適化に依存しており、これは連続的および高次元のモダリティに対して費用がかかり不正確である。 最初の重要な洞察は、ペアの分布が多変量ガウス多様体である場合、この問題を効率よく解けることであり、この問題をガウスPID(GPID)と呼ぶ。 本稿では,GPIDの計算効率を大幅に向上する勾配に基づくアルゴリズムを提案する。 非ガウスデータの適用性を一般化するために、任意の入力分布のランダム変数をペアワイズガウス確率変数に変換するための情報保存エンコーダを学習する。 その過程で,GPIDに対する合同ガウス解の最適性に関して,オープンな問題を解いた。 多様な合成例における実証的検証は,提案手法が既存のベースラインよりも正確で効率的なPID推定を提供することを示す。 さらに、マルチモーダルデータセットにおけるPIDの定量化と高性能モデルの選択を現実の応用に適用するために、大規模マルチモーダルベンチマークのシリーズを評価した。

関連論文リスト

• Distributional encoding for Gaussian process regression with qualitative inputs [0.7342677574855652]
  本稿では,分布符号化(DE)に基づく一般化が,対象変数のすべてのサンプルをカテゴリとして利用することを示す。 提案手法は実験的に検証され,様々な合成および実世界のデータセットに対して最先端の予測性能を示す。
  論文  参考訳（メタデータ） (2025-06-05T09:35:02Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• DiffSG: A Generative Solver for Network Optimization with Diffusion Model [75.27274046562806]
  生成拡散モデルは、様々なクロスドメインアプリケーションで人気がある。 これらのモデルは複雑なネットワーク最適化問題に対処する上で有望である。 本稿では拡散モデルに基づく解生成という,拡散モデル生成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T07:56:21Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Distributed Bayesian Estimation in Sensor Networks: Consensus on Marginal Densities [13.38077406934971]
  連続変数上の確率分布の関数空間において、確率的確率的アルゴリズムを導出する。 これらの結果を利用して、個々のエージェントが観測する変数のサブセットに制限された新しい分散推定器を得る。 これは、協調的なローカライゼーションやフェデレートドラーニングのような応用に関係しており、任意のエージェントで収集されたデータは、関心のあるすべての変数のサブセットに依存する。
  論文  参考訳（メタデータ） (2023-12-02T21:10:06Z)
• Multi-Fidelity High-Order Gaussian Processes for Physical Simulation [24.033468062984458]
  高忠実度偏微分方程式(PDE)は低忠実度偏微分方程式よりも高価である。 複雑な相関関係を捉えることができるMFHoGP(Multi-Fidelity High-Order Gaussian Process)を提案する。 MFHoGPは、情報を融合するために基礎を伝播し、基礎重みよりも先に深い行列GPを配置する。
  論文  参考訳（メタデータ） (2020-06-08T22:31:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。