論文の概要: On Finite-Sample Identifiability of Contrastive Learning-Based Nonlinear Independent Component Analysis

• arxiv url: http://arxiv.org/abs/2206.06593v1
• Date: Tue, 14 Jun 2022 04:59:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-16 06:08:46.548927
• Title: On Finite-Sample Identifiability of Contrastive Learning-Based Nonlinear Independent Component Analysis
• Title（参考訳）: コントラスト学習に基づく非線形独立成分分析の有限サンプル同定性について
• Authors: Qi Lyu, Xiao Fu
• Abstract要約: この研究は GCL ベースの nICA の有限サンプル識別可能性解析を行う。 本フレームワークは, GCL損失関数の特性, 統計解析, 数値微分を加味したものである。
• 参考スコア（独自算出の注目度）: 11.012445089716016
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Nonlinear independent component analysis (nICA) aims at recovering statistically independent latent components that are mixed by unknown nonlinear functions. Central to nICA is the identifiability of the latent components, which had been elusive until very recently. Specifically, Hyv\"arinen et al. have shown that the nonlinearly mixed latent components are identifiable (up to often inconsequential ambiguities) under a generalized contrastive learning (GCL) formulation, given that the latent components are independent conditioned on a certain auxiliary variable. The GCL-based identifiability of nICA is elegant, and establishes interesting connections between nICA and popular unsupervised/self-supervised learning paradigms in representation learning, causal learning, and factor disentanglement. However, existing identifiability analyses of nICA all build upon an unlimited sample assumption and the use of ideal universal function learners -- which creates a non-negligible gap between theory and practice. Closing the gap is a nontrivial challenge, as there is a lack of established ``textbook'' routine for finite sample analysis of such unsupervised problems. This work puts forth a finite-sample identifiability analysis of GCL-based nICA. Our analytical framework judiciously combines the properties of the GCL loss function, statistical generalization analysis, and numerical differentiation. Our framework also takes the learning function's approximation error into consideration, and reveals an intuitive trade-off between the complexity and expressiveness of the employed function learner. Numerical experiments are used to validate the theorems.
• Abstract（参考訳）: 非線形独立成分分析(NICA)は、未知の非線形関数によって混合される統計的に独立な潜在成分を復元することを目的としている。 nICAの中心は潜伏成分の識別可能性であり、これはごく最近まで解明されてきた。 具体的には、hyv\"arinen et al. は、非線形に混合された潜在成分は、ある補助変数上で独立条件となることを前提に、一般化されたコントラスト学習(gcl)の定式化の下で(しばしば不連続な曖昧さまで)識別可能であることを示した。 GCLに基づくnICAの識別性はエレガントであり、表現学習、因果学習、因子非絡み合いにおいて、nICAと一般的な教師なし・自己監督学習パラダイムとの間の興味深い関係を確立する。 しかし、nICAの既存の識別可能性分析は、すべて無制限のサンプル仮定と理想的な普遍関数学習者の使用の上に構築され、理論と実践の間に非無視のギャップが生じる。 このような教師なし問題の有限サンプル解析のために確立された ``textbook'' ルーチンが欠如しているため、ギャップを閉じることは非自明な課題である。 この研究は GCL ベースの nICA の有限サンプル識別可能性解析を行う。 解析フレームワークは, GCL損失関数の特性, 統計一般化解析, 数値微分の両立を図っている。 また,学習関数の近似誤差を考慮に入れ,使用した関数学習者の複雑さと表現力との直感的なトレードオフを明らかにする。 数値実験は定理の検証に使用される。

関連論文リスト

• Contrastive Factor Analysis [70.02770079785559]
  本稿では,新しいコントラスト要因分析フレームワークを提案する。 コントラスト学習の領域において、因子分析の有利な特性を活用することを目的としている。 非負因子分析の解釈可能性特性をさらに活用するために、非負バージョンに拡張される。
  論文  参考訳（メタデータ） (2024-07-31T16:52:00Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Neuro-Causal Factor Analysis [18.176375611711396]
  神経因果因子分析(NCFA)の枠組みについて紹介する。 NCFAは潜伏因果発見法により因子を同定し、可変オートエンコーダ(VAE)を用いる NCFAを実データおよび合成データセット上で評価し、データ再構成タスクにおける標準VAEと同等に動作することを示す。
  論文  参考訳（メタデータ） (2023-05-31T12:41:20Z)
• Provable Subspace Identification Under Post-Nonlinear Mixtures [11.012445089716016]
  非自明な混合学習は、線形または非線形に混合された潜在成分を盲目的に識別することを目的としている。 この研究は、慎重に設計された基準の下で、基礎となる混合系に付随するヌル空間が未知の非線形性の識別と除去を保証するのに十分であることを示している。
  論文  参考訳（メタデータ） (2022-10-14T05:26:40Z)
• Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
  通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。 理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。 本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
  論文  参考訳（メタデータ） (2022-10-12T06:46:38Z)
• Function Classes for Identifiable Nonlinear Independent Component Analysis [10.828616610785524]
  潜在変数モデル(LVM)の教師なし学習は機械学習のデータ表現に広く用いられている。 最近の研究は、そのようなモデルの関数クラスを制約することは、識別可能性を促進することを示唆している。 これらの変換のサブクラスである共形写像が同定可能であることを証明し、新しい理論的結果を与える。
  論文  参考訳（メタデータ） (2022-08-12T17:58:31Z)
• On the Identifiability of Nonlinear ICA: Sparsity and Beyond [20.644375143901488]
  自明な不確定点を特定できる非線形ICAモデルをいかにして特定させるかは、教師なし学習における長年の問題である。 最近のブレークスルーは、いくつかの補助変数が与えられた条件付き独立としてソースの標準独立仮定を再構成する。 このような制約の特定のインスタンス化の下では、独立潜水源はそれらの非線形混合から置換まで同定できることを示す。
  論文  参考訳（メタデータ） (2022-06-15T18:24:22Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Identifiability-Guaranteed Simplex-Structured Post-Nonlinear Mixture Learning via Autoencoder [9.769870656657522]
  この研究は、非線形に混合された潜伏成分を教師なしの方法で解き放つ問題に焦点を当てる。 潜伏成分は確率単純度内に存在すると仮定され、未知の非線形混合系によって変換される。 この問題は、非線形ハイパースペクトルアンミックス、画像埋め込み、非線形クラスタリングなど、信号およびデータ分析における様々な応用を見出す。
  論文  参考訳（メタデータ） (2021-06-16T18:20:58Z)
• Disentangling Observed Causal Effects from Latent Confounders using Method of Moments [67.27068846108047]
  我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。 我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
  論文  参考訳（メタデータ） (2021-01-17T07:48:45Z)
• Estimating Structural Target Functions using Machine Learning and Influence Functions [103.47897241856603]
  統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。 このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。 我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
  論文  参考訳（メタデータ） (2020-08-14T16:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。