論文の概要: Nonlinear Independent Component Analysis for Principled Disentanglement
in Unsupervised Deep Learning
- arxiv url: http://arxiv.org/abs/2303.16535v1
- Date: Wed, 29 Mar 2023 08:51:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 15:28:10.352836
- Title: Nonlinear Independent Component Analysis for Principled Disentanglement
in Unsupervised Deep Learning
- Title(参考訳): 教師なし深層学習における原理不等角化の非線形独立成分分析
- Authors: Aapo Hyvarinen, Ilyes Khemakhem, Hiroshi Morioka
- Abstract要約: 教師なしディープラーニングにおける中心的な問題は、高次元データの有用な表現を見つける方法である。
本稿では非線形ICA理論とアルゴリズムの現状を概観する。
- 参考スコア(独自算出の注目度): 2.9972063833424216
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A central problem in unsupervised deep learning is how to find useful
representations of high-dimensional data, sometimes called "disentanglement".
Most approaches are heuristic and lack a proper theoretical foundation. In
linear representation learning, independent component analysis (ICA) has been
successful in many applications areas, and it is principled, i.e. based on a
well-defined probabilistic model. However, extension of ICA to the nonlinear
case has been problematic due to the lack of identifiability, i.e. uniqueness
of the representation. Recently, nonlinear extensions that utilize temporal
structure or some auxiliary information have been proposed. Such models are in
fact identifiable, and consequently, an increasing number of algorithms have
been developed. In particular, some self-supervised algorithms can be shown to
estimate nonlinear ICA, even though they have initially been proposed from
heuristic perspectives. This paper reviews the state-of-the-art of nonlinear
ICA theory and algorithms.
- Abstract(参考訳): 教師なしディープラーニングにおける中心的な問題は、高次元データの有用な表現を見つける方法である。
ほとんどのアプローチはヒューリスティックであり、適切な理論基盤を欠いている。
線形表現学習では、独立成分分析(ICA)は多くの応用分野で成功しており、その原理は、よく定義された確率モデルに基づくものである。
しかし、ICAの非線形ケースへの拡張は、識別可能性の欠如、すなわち表現の特異性のために問題となっている。
近年,時間構造や補助情報を利用した非線形拡張が提案されている。
このようなモデルは実際に識別可能であり、その結果、アルゴリズムの数が増加している。
特に、いくつかの自己教師付きアルゴリズムは、当初はヒューリスティックな観点から提案されたものの、非線形ICAを推定することができる。
本稿では非線形ICA理論とアルゴリズムの現状を概観する。
関連論文リスト
- Limits and Powers of Koopman Learning [0.0]
力学系は様々な科学にまたがって複雑で変化する振る舞いを研究する包括的方法を提供する。
クープマン作用素は、線形手法を用いた非線形力学の研究を可能にするため、支配的なアプローチとして現れてきた。
テキスト 動的システムの軌道データからクープマン作用素のスペクトル特性を頑健に学習することは可能か?
論文 参考訳(メタデータ) (2024-07-08T18:24:48Z) - Identifiable Feature Learning for Spatial Data with Nonlinear ICA [18.480534062833673]
本稿では,高次元依存構造を持つデータに自然に適用する潜在成分を用いた新しい非線形ICAフレームワークを提案する。
特に、計算効率を誘導する前に、ディープニューラルネットワークミキシング関数とTPの組み合わせを扱うための変分法を拡張する新しい学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-11-28T15:00:11Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳(メタデータ) (2023-06-04T02:32:12Z) - On the Identifiability of Nonlinear ICA: Sparsity and Beyond [20.644375143901488]
自明な不確定点を特定できる非線形ICAモデルをいかにして特定させるかは、教師なし学習における長年の問題である。
最近のブレークスルーは、いくつかの補助変数が与えられた条件付き独立としてソースの標準独立仮定を再構成する。
このような制約の特定のインスタンス化の下では、独立潜水源はそれらの非線形混合から置換まで同定できることを示す。
論文 参考訳(メタデータ) (2022-06-15T18:24:22Z) - Understanding the Role of Nonlinearity in Training Dynamics of
Contrastive Learning [37.27098255569438]
本研究では,1層および2層非線形ネットワーク上でのコントラスト学習(CL)の学習力学における非線形性の役割について検討する。
非線形性の存在は1層設定においても多くの局所最適性をもたらすことを示す。
グローバルレベルパターンの観点から識別可能な局所パターンを優先的に学習する。
論文 参考訳(メタデータ) (2022-06-02T23:52:35Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。
我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
論文 参考訳(メタデータ) (2021-03-02T06:59:52Z) - Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。
合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-10-26T11:31:08Z) - Nonlinear ISA with Auxiliary Variables for Learning Speech
Representations [51.9516685516144]
補助変数の存在下では非線型独立部分空間解析(ISA)の理論的枠組みを導入する。
部分空間が独立な教師なし音声表現を学習するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-25T14:53:09Z) - Hidden Markov Nonlinear ICA: Unsupervised Learning from Nonstationary
Time Series [0.0]
非線形独立成分分析と隠れマルコフモデルを組み合わせる方法について述べる。
ニューラルネットワークのような一般の混合非線形性に対するモデルの有効性を実証する。
我々は、教師なし、より効率的で、基礎となる時間力学をモデル化できる新しい非線形ICAフレームワークを実現する。
論文 参考訳(メタデータ) (2020-06-22T10:01:15Z) - Eigendecomposition-Free Training of Deep Networks for Linear
Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。
この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。
我々の手法は収束特性が良く、最先端の結果が得られます。
論文 参考訳(メタデータ) (2020-04-15T04:29:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。