論文の概要: Contrastive Entropy Bounds for Density and Conditional Density Decomposition

• arxiv url: http://arxiv.org/abs/2511.12903v1
• Date: Mon, 17 Nov 2025 02:49:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:24.621612
• Title: Contrastive Entropy Bounds for Density and Conditional Density Decomposition
• Title（参考訳）: 密度・条件密度分解のためのコントラストエントロピー境界
• Authors: Bo Hu, Jose C. Principe,
• Abstract要約: ヒルベルト空間と分解を用いて、多重出力ネットワークがガウス混合を定義する複数の中心を生成する場合に対処する。 本稿では,デコーダを複数出力するエンコーダ/ミキサー/デコーダアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 6.697324698653934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies the interpretability of neural network features from a Bayesian Gaussian view, where optimizing a cost is reaching a probabilistic bound; learning a model approximates a density that makes the bound tight and the cost optimal, often with a Gaussian mixture density. The two examples are Mixture Density Networks (MDNs) using the bound for the marginal and autoencoders using the conditional bound. It is a known result, not only for autoencoders, that minimizing the error between inputs and outputs maximizes the dependence between inputs and the middle. We use Hilbert space and decomposition to address cases where a multiple-output network produces multiple centers defining a Gaussian mixture. Our first finding is that an autoencoder's objective is equivalent to maximizing the trace of a Gaussian operator, the sum of eigenvalues under bases orthonormal w.r.t. the data and model distributions. This suggests that, when a one-to-one correspondence as needed in autoencoders is unnecessary, we can instead maximize the nuclear norm of this operator, the sum of singular values, to maximize overall rank rather than trace. Thus the trace of a Gaussian operator can be used to train autoencoders, and its nuclear norm can be used as divergence to train MDNs. Our second test uses inner products and norms in a Hilbert space to define bounds and costs. Such bounds often have an extra norm compared to KL-based bounds, which increases sample diversity and prevents the trivial solution where a multiple-output network produces the same constant, at the cost of requiring a sample batch to estimate and optimize. We propose an encoder-mixture-decoder architecture whose decoder is multiple-output, producing multiple centers per sample, potentially tightening the bound. Assuming the data are small-variance Gaussian mixtures, this upper bound can be tracked and analyzed quantitatively.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの特徴の解釈可能性についてベイジアン・ガウスの視点から検討する。そこでは,コストの最適化が確率的境界に達している。モデル学習は,境界をきつくし,コストを最適にする密度を,しばしばガウス混合密度で近似する。 2つの例はMixture Density Networks (MDN) で、境界境界と条件境界を用いたオートエンコーダのバウンダを使用する。 これはオートエンコーダだけでなく、入力と出力の間の誤差を最小限に抑えることで、入力と中央間の依存性を最大化する、既知の結果である。 ヒルベルト空間と分解を用いて、多重出力ネットワークがガウス混合を定義する複数の中心を生成する場合に対処する。 我々の最初の発見は、オートエンコーダの目的がガウス作用素のトレースの最大化、ベースの下での固有値の和、データとモデル分布の正規化である。 これは、オートエンコーダで必要となる1対1対応が不要である場合、代わりにこの作用素の核ノルム(特異値の和)を最大化し、トレースよりも全体的なランクを最大化することができることを示唆している。 したがって、ガウス作用素のトレースはオートエンコーダの訓練に利用することができ、その核ノルムはMDNの訓練の分岐として利用することができる。 2つ目のテストでは、ヒルベルト空間の内積とノルムを使って境界とコストを定義する。 このような境界は、サンプルの多様性を高め、複数の出力ネットワークが同じ定数を生成するような自明な解を、推定と最適化のためにサンプルバッチを必要とするコストで防止するKLベースの境界よりも、余分なノルムを持つことが多い。 本稿では,デコーダを複数出力するエンコーダ/ミキサー/デコーダアーキテクチャを提案する。 データが小分散ガウス混合であると仮定すると、この上限は追跡され、定量的に分析される。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Solving High Frequency and Multi-Scale PDEs with Gaussian Processes [18.190228010565367]
  PINNは、しばしば高周波およびマルチスケールのPDEを解決するのに苦労する。 我々はこの問題を解決するためにガウス過程(GP)フレームワークを利用する。 我々はKroneckerの製品特性と多線型代数を用いて計算効率とスケーラビリティを向上する。
  論文  参考訳（メタデータ） (2023-11-08T05:26:58Z)
• A Parameter-Free Two-Bit Covariance Estimator with Improved Operator Norm Error Rate [23.116373524718988]
  両問題に同時に対処する2ビット共分散行列推定器を提案する。 エントリ毎に異なるディザリングスケールを利用することで、我々の推定器は演算子ノルム誤差率の改善を享受する。 提案手法は、ディザリングスケールがデータによって完全に決定されるため、いかなるチューニングパラメータも不要である。
  論文  参考訳（メタデータ） (2023-08-30T14:31:24Z)
• Adversarial Likelihood Estimation With One-Way Flows [44.684952377918904]
  GAN(Generative Adversarial Networks)は、高品質なサンプルを生成することができるが、サンプル周辺の確率密度を見積もることはできない。 提案手法は, より高速に収束し, 類似したアーキテクチャでGANに匹敵するサンプル品質を生成し, 一般的に使用されるデータセットの過度な適合を回避し, トレーニングデータのスムーズな低次元潜在表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T10:26:29Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Symmetric Tensor Networks for Generative Modeling and Constrained Combinatorial Optimization [72.41480594026815]
  ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。 これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。 本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
  論文  参考訳（メタデータ） (2022-11-16T18:59:54Z)
• Robust Inference of Manifold Density and Geometry by Doubly Stochastic Scaling [8.271859911016719]
  我々は高次元雑音下で頑健な推論のためのツールを開発する。 提案手法は, セルタイプにまたがる技術的ノイズレベルの変動に頑健であることを示す。
  論文  参考訳（メタデータ） (2022-09-16T15:39:11Z)
• Fast Batch Nuclear-norm Maximization and Minimization for Robust Domain Adaptation [154.2195491708548]
  ランダムに選択されたデータバッチの分類出力行列の構造について検討し,予測可能性と多様性について検討した。 本稿では,目標出力行列上で核ノルムを行い,目標予測能力を向上するBatch Nuclear-norm Maximization and Minimizationを提案する。 実験により,本手法は3つの典型的なドメイン適応シナリオにおいて適応精度とロバスト性を高めることができることが示された。
  論文  参考訳（メタデータ） (2021-07-13T15:08:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。