論文の概要: Identifiable Feature Learning for Spatial Data with Nonlinear ICA
- arxiv url: http://arxiv.org/abs/2311.16849v1
- Date: Tue, 28 Nov 2023 15:00:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 18:07:39.874432
- Title: Identifiable Feature Learning for Spatial Data with Nonlinear ICA
- Title（参考訳）: 非線形ICAを用いた空間データの特徴学習
- Authors: Hermanni H\"alv\"a and Jonathan So and Richard E. Turner and Aapo
Hyv\"arinen
- Abstract要約: 本稿では,高次元依存構造を持つデータに自然に適用する潜在成分を用いた新しい非線形ICAフレームワークを提案する。
特に、計算効率を誘導する前に、ディープニューラルネットワークミキシング関数とTPの組み合わせを扱うための変分法を拡張する新しい学習アルゴリズムを開発した。
- 参考スコア（独自算出の注目度）: 18.480534062833673
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, nonlinear ICA has surfaced as a popular alternative to the many
heuristic models used in deep representation learning and disentanglement. An
advantage of nonlinear ICA is that a sophisticated identifiability theory has
been developed; in particular, it has been proven that the original components
can be recovered under sufficiently strong latent dependencies. Despite this
general theory, practical nonlinear ICA algorithms have so far been mainly
limited to data with one-dimensional latent dependencies, especially
time-series data. In this paper, we introduce a new nonlinear ICA framework
that employs $t$-process (TP) latent components which apply naturally to data
with higher-dimensional dependency structures, such as spatial and
spatio-temporal data. In particular, we develop a new learning and inference
algorithm that extends variational inference methods to handle the combination
of a deep neural network mixing function with the TP prior, and employs the
method of inducing points for computational efficacy. On the theoretical side,
we show that such TP independent components are identifiable under very general
conditions. Further, Gaussian Process (GP) nonlinear ICA is established as a
limit of the TP Nonlinear ICA model, and we prove that the identifiability of
the latent components at this GP limit is more restricted. Namely, those
components are identifiable if and only if they have distinctly different
covariance kernels. Our algorithm and identifiability theorems are explored on
simulated spatial data and real world spatio-temporal data.
- Abstract（参考訳）: 近年, 非線形ICAは, 深層表現学習や絡み合いに使用される多くのヒューリスティックモデルの代替として注目されている。
非線形ICAの利点は、洗練された識別可能性理論が開発されていることである。
この一般的な理論にもかかわらず、実際的な非線形ICAアルゴリズムは、主に1次元の遅延依存を持つデータ、特に時系列データに限られている。
本稿では,空間的および時空間的データなどの高次元依存構造を持つデータに対して自然に適用可能な,$t$プロセス(TP)潜伏成分を用いた新しい非線形ICAフレームワークを提案する。
特に,深層ニューラルネットワークの混合関数とtpを予め組み合わせて処理するために,変分推論法を拡張した新しい学習・推論アルゴリズムを開発し,計算効率を誘導する手法を採用した。
理論的には、これらのTP独立成分は非常に一般的な条件下で同定可能であることを示す。
さらに、TP非線形ICAモデルの極限としてガウス過程(GP)非線形ICAが確立され、このGP極限における潜在成分の識別性がより制限されることが証明される。
すなわち、これらの成分が明らかに異なる共分散核を持つ場合にのみ識別可能である。
シミュレーション空間データと実世界の時空間データを用いてアルゴリズムと同定可能性定理を考察した。
関連論文リスト
- TS-CausalNN: Learning Temporal Causal Relations from Non-linear Non-stationary Time Series Data [0.42156176975445486]
本稿では,時系列因果ニューラルネットワーク(TS-Causal Neural Network,TS-CausalNN)を提案する。
単純な並列設計に加えて、提案モデルの利点は、データの非定常性と非線形性を自然に扱うことである。
論文 参考訳（メタデータ） (2024-04-01T20:33:29Z) - Nonlinear Independent Component Analysis for Principled Disentanglement
in Unsupervised Deep Learning [2.2329417756084093]
教師なしディープラーニングにおける中心的な問題は、高次元データの有用な表現を見つける方法である。
本稿では非線形ICA理論とアルゴリズムの現状を概観する。
論文 参考訳（メタデータ） (2023-03-29T08:51:28Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - NeuralSI: Structural Parameter Identification in Nonlinear Dynamical
Systems [9.77270939559057]
本稿では,構造同定のための新しいフレームワークであるNeuralSIについて検討する。
提案手法は, 制御方程式から非線形パラメータを推定することを目的とする。
トレーニングされたモデルは、標準条件と極端な条件の両方で外挿することもできる。
論文 参考訳（メタデータ） (2022-08-26T16:32:51Z) - A Causality-Based Learning Approach for Discovering the Underlying
Dynamics of Complex Systems from Partial Observations with Stochastic
Parameterization [1.2882319878552302]
本稿では,部分的な観測を伴う複雑な乱流系の反復学習アルゴリズムを提案する。
モデル構造を識別し、観測されていない変数を復元し、パラメータを推定する。
数値実験により、新しいアルゴリズムはモデル構造を同定し、多くの複雑な非線形系に対して適切なパラメータ化を提供することに成功した。
論文 参考訳（メタデータ） (2022-08-19T00:35:03Z) - On the Identifiability of Nonlinear ICA: Sparsity and Beyond [20.644375143901488]
自明な不確定点を特定できる非線形ICAモデルをいかにして特定させるかは、教師なし学習における長年の問題である。
最近のブレークスルーは、いくつかの補助変数が与えられた条件付き独立としてソースの標準独立仮定を再構成する。
このような制約の特定のインスタンス化の下では、独立潜水源はそれらの非線形混合から置換まで同定できることを示す。
論文 参考訳（メタデータ） (2022-06-15T18:24:22Z) - Consistency of mechanistic causal discovery in continuous-time using
Neural ODEs [85.7910042199734]
ダイナミカルシステムの研究において,連続時間における因果的発見を検討する。
本稿では,ニューラルネットワークを用いた因果探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-06T08:48:02Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T09:32:06Z) - Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。
合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-10-26T11:31:08Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z) - WICA: nonlinear weighted ICA [72.02008296553318]
独立成分分析(ICA)は、データのコンポーネントが独立している座標系を見つけることを目的としている。
我々は、WICAと呼ばれる新しい非線形ICAモデルを構築し、他のアルゴリズムよりも優れた、より安定した結果を得る。
論文 参考訳（メタデータ） (2020-01-13T10:38:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。