論文の概要: Structured Kernel Regression VAE: A Computationally Efficient Surrogate for GP-VAEs in ICA

• arxiv url: http://arxiv.org/abs/2508.09721v1
• Date: Wed, 13 Aug 2025 11:24:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.870086
• Title: Structured Kernel Regression VAE: A Computationally Efficient Surrogate for GP-VAEs in ICA
• Title（参考訳）: 構造化カーネル回帰VAE:ICAにおけるGP-VAEの計算効率の良いサロゲート
• Authors: Yuan-Hao Wei, Fu-Hao Deng, Lin-Yong Cui, Yan-Jie Sun,
• Abstract要約: 生成モデルとして、変分オートエンコーダ(VAE)は変分ベイズ推論アルゴリズムと組み合わせる。 本研究は, ICA性能を維持しながら, SKR-VAEはGP-VAEに比べて計算効率が高く, 計算負担を大幅に削減できることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The interpretability of generative models is considered a key factor in demonstrating their effectiveness and controllability. The generated data are believed to be determined by latent variables that are not directly observable. Therefore, disentangling, decoupling, decomposing, causal inference, or performing Independent Component Analysis (ICA) in the latent variable space helps uncover the independent factors that influence the attributes or features affecting the generated outputs, thereby enhancing the interpretability of generative models. As a generative model, Variational Autoencoders (VAEs) combine with variational Bayesian inference algorithms. Using VAEs, the inverse process of ICA can be equivalently framed as a variational inference process. In some studies, Gaussian processes (GPs) have been introduced as priors for each dimension of latent variables in VAEs, structuring and separating each dimension from temporal or spatial perspectives, and encouraging different dimensions to control various attributes of the generated data. However, GPs impose a significant computational burden, resulting in substantial resource consumption when handling large datasets. Essentially, GPs model different temporal or spatial structures through various kernel functions. Structuring the priors of latent variables via kernel functions-so that different kernel functions model the correlations among sequence points within different latent dimensions-is at the core of achieving disentanglement in VAEs. The proposed Structured Kernel Regression VAE (SKR-VAE) leverages this core idea in a more efficient way, avoiding the costly kernel matrix inversion required in GPs. This research demonstrates that, while maintaining ICA performance, SKR-VAE achieves greater computational efficiency and significantly reduced computational burden compared to GP-VAE.
• Abstract（参考訳）: 生成モデルの解釈可能性はその有効性と制御可能性を示す上で重要な要素であると考えられている。 生成されたデータは、直接観測できない潜伏変数によって決定されると考えられている。 したがって、潜在変数空間における独立成分分析(ICA)の実行、分離、分解、分解は、生成した出力に影響を与える特性や特徴に影響を及ぼす独立した要因を明らかにするのに役立ち、生成モデルの解釈可能性を高める。 生成モデルとして、変分オートエンコーダ(VAE)は変分ベイズ推論アルゴリズムと組み合わせる。 VAEを用いて、ICAの逆過程は変分推論過程として等価にフレーム化することができる。 いくつかの研究では、VAEにおける潜伏変数の各次元の先行としてガウス過程(GP)を導入し、各次元を時間的あるいは空間的視点から構造化・分離し、生成されたデータの様々な属性を制御するように異なる次元を奨励している。 しかし、GPは計算上の負担が大きいため、大きなデータセットを扱う際にかなりのリソース消費が発生する。 本質的に、GPは様々なカーネル関数を通して時間構造や空間構造をモデル化する。 異なるカーネル関数は、異なる潜在次元内のシーケンスポイント間の相関をモデル化する。 提案されたStructured Kernel Regression VAE (SKR-VAE) は、GPに必要とされるコストのかかるカーネル行列逆転を避けるために、このコアアイデアをより効率的に活用する。 本研究は, ICA性能を維持しながら, SKR-VAEはGP-VAEに比べて計算効率が高く, 計算負担を大幅に削減できることを示した。

関連論文リスト

• Neighbour-Driven Gaussian Process Variational Autoencoders for Scalable Structured Latent Modelling [14.358070928996069]
  ガウス過程 (GP) 変分オートエンコーダ (VAEs) は、完全に分解されたガウス前処理をGP前処理に置き換えることで標準のVAEを拡張する。 大規模GPVAEにおける正確なGP推論の実行は、計算的に禁止されており、しばしば既存のアプローチは制限的なカーネルの仮定に頼らざるを得ない。 本稿では,拡張性のあるGPVAE推論を実現するために,潜在空間における局所的隣接性を利用する近似手法を提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:07:33Z)
• Large-Scale Targeted Cause Discovery with Data-Driven Learning [66.86881771339145]
  本稿では,観測結果から対象変数の因果変数を推定する機械学習手法を提案する。 ローカル推論戦略を用いることで、我々のアプローチは変数数に線形な複雑さを伴ってスケールし、数千の変数に効率的にスケールアップする。 大規模遺伝子制御ネットワークにおける因果関係の同定に優れた性能を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-08-29T02:21:11Z)
• Variable Importance in High-Dimensional Settings Requires Grouping [19.095605415846187]
  Conditional Permutation Importance (CPI)は、そのような場合のPIの制限をバイパスする。 クラスタリングまたはいくつかの事前知識を介して統計的に変数をグループ化すると、ある程度のパワーバックが得られる。 重み付けにより拡張された手法は,高相関なグループであっても,型Iエラーを制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-18T00:21:47Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• BCDAG: An R package for Bayesian structure and Causal learning of Gaussian DAGs [77.34726150561087]
  観測データから因果関係の発見と因果関係を推定するためのRパッケージを提案する。 我々の実装は、観測回数とともに効率的にスケールし、DAGが十分にスパースであるたびに、データセット内の変数の数を削減します。 次に、実際のデータセットとシミュレーションデータセットの両方で、主な機能とアルゴリズムを説明します。
  論文  参考訳（メタデータ） (2022-01-28T09:30:32Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• Multi-task Causal Learning with Gaussian Processes [17.205106391379026]
  本稿では、因果モデルの有向非巡回グラフ(DAG)上に定義された一連の介入関数の相関構造を学習する問題について考察する。 本稿では,連続的な介入と異なる変数に対する実験による情報共有が可能な,最初のマルチタスク因果ガウス過程(GP)モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-27T11:33:40Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder [0.0]
  tvGP-VAEはカーネル関数を使用して相関を明示的にモデル化することができる。 そこで本研究では,どの相関構造を潜在空間で明示的に表現するかの選択が,モデル性能に大きな影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2020-06-08T17:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。