論文の概要: Normalizing Flow to Augmented Posterior: Conditional Density Estimation with Interpretable Dimension Reduction for High Dimensional Data

• arxiv url: http://arxiv.org/abs/2507.04216v1
• Date: Sun, 06 Jul 2025 02:58:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.068986
• Title: Normalizing Flow to Augmented Posterior: Conditional Density Estimation with Interpretable Dimension Reduction for High Dimensional Data
• Title（参考訳）: 拡張後における正規化流れ:高次元データに対する解釈次元削減による条件密度推定
• Authors: Cheng Zeng, George Michailidis, Hitoshi Iyatomi, Leo L Duan,
• Abstract要約: 条件密度は、他の予測子$x$が与えられた応答変数$y$の分布を特徴付ける。 本研究では、外部の$x$が存在する場合にNFニューラルネットワークを拡張する。 我々は、z$の教師なしモデルに基づく非条件NFニューラルネットワークは、解釈可能な結果を生成することができないことを示す。
• 参考スコア（独自算出の注目度）: 20.177824207096396
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The conditional density characterizes the distribution of a response variable $y$ given other predictor $x$, and plays a key role in many statistical tasks, including classification and outlier detection. Although there has been abundant work on the problem of Conditional Density Estimation (CDE) for a low-dimensional response in the presence of a high-dimensional predictor, little work has been done for a high-dimensional response such as images. The promising performance of normalizing flow (NF) neural networks in unconditional density estimation acts a motivating starting point. In this work, we extend NF neural networks when external $x$ is present. Specifically, they use the NF to parameterize a one-to-one transform between a high-dimensional $y$ and a latent $z$ that comprises two components \([z_P,z_N]\). The $z_P$ component is a low-dimensional subvector obtained from the posterior distribution of an elementary predictive model for $x$, such as logistic/linear regression. The $z_N$ component is a high-dimensional independent Gaussian vector, which explains the variations in $y$ not or less related to $x$. Unlike existing CDE methods, the proposed approach, coined Augmented Posterior CDE (AP-CDE), only requires a simple modification on the common normalizing flow framework, while significantly improving the interpretation of the latent component, since $z_P$ represents a supervised dimension reduction. In image analytics applications, AP-CDE shows good separation of $x$-related variations due to factors such as lighting condition and subject id, from the other random variations. Further, the experiments show that an unconditional NF neural network, based on an unsupervised model of $z$, such as Gaussian mixture, fails to generate interpretable results.
• Abstract（参考訳）: 条件密度は、他の予測子$x$が与えられた応答変数$y$の分布を特徴づけ、分類や外れ値検出を含む多くの統計タスクにおいて重要な役割を果たす。 高次元予測器の存在下での低次元応答に対する条件密度推定(CDE)の問題については,多くの研究がなされているが,画像などの高次元応答に対する研究はほとんど行われていない。 非条件密度推定における正規化フロー(NF)ニューラルネットワークの有望な性能は、動機付け開始点として機能する。 本研究では,外部の$x$が存在する場合にNFニューラルネットワークを拡張する。 具体的には、NFを用いて高次元の$y$と2つの成分 \([z_P,z_N]\) からなる潜伏$z$の間の1対1変換をパラメタライズする。 $z_P$成分は、ロジスティック/線形回帰など、基本的な予測モデルの後方分布から得られる低次元のサブベクターである。 z_N$成分は高次元独立ガウスベクトルであり、$x$と関係があるかどうかにかかわらず$y$の変動を説明する。 既存のCDE法とは異なり、提案手法は拡張後CDE (Augmented Posterior CDE) と呼ばれ、一般的な正規化フローフレームワークに簡単な変更を加えるだけでよい。 画像解析アプリケーションにおいて、AP-CDEは、照明条件や被写体IDなどの要因による$x$関連変動と、他のランダムな変動とを適切に分離している。 さらに実験により、ガウス混合のような教師なしの$z$モデルに基づく無条件NFニューラルネットワークは、解釈可能な結果を生成することができないことを示した。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• High-Dimensional Smoothed Entropy Estimation via Dimensionality Reduction [14.53979700025531]
  微分エントロピー$h(X+Z)$を独立に$n$で推定し、同じ分散サンプルを$X$とする。 絶対誤差損失では、上記の問題はパラメータ推定率$fraccDsqrtn$である。 我々は、エントロピー推定の前に主成分分析(PCA)を通して低次元空間に$X$を投影することで、この指数的なサンプル複雑性を克服する。
  論文  参考訳（メタデータ） (2023-05-08T13:51:48Z)
• Deep Neural Networks for Nonparametric Interaction Models with Diverging Dimension [6.939768185086753]
  成長次元シナリオ (d$ grows with $n$ but at a slow rate) と高次元 (dgtrsim n$) の両方において、$kth$オーダーの非パラメトリック相互作用モデルを分析する。 特定の標準仮定の下では、デバイアスドディープニューラルネットワークは、$(n, d)$の両面において、極小値の最適値を達成している。
  論文  参考訳（メタデータ） (2023-02-12T04:19:39Z)
• Symmetries in the dynamics of wide two-layer neural networks [0.0]
  無限広2層ReLUニューラルネットワークの集団リスクに対する勾配流の最適設定について(バイアスなしで)考察する。 まず,対象関数$f*$と入力分布で満たされた対称性の一般クラスを動的に保存する。
  論文  参考訳（メタデータ） (2022-11-16T08:59:26Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Segmentation of high dimensional means over multi-dimensional change points and connections to regression trees [1.0660480034605242]
  この記事では、レグレッションツリーを特徴づけ、実装するための、分析的に抽出可能で、完全に頻繁な新しいフレームワークを提供します。 回帰木への接続は多次元変化軸上の動的平均ベクトルを持つ高次元モデルによって構成される。 結果は高次元スケーリング$slog2 p=o(T_wT_h)で得られ、$p$は応答次元、$s$は空間パラメータ、$T_w,T_h$は変化軸に沿ったサンプリング期間である。
  論文  参考訳（メタデータ） (2021-05-20T20:29:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。