論文の概要: I Don't Need $\mathbf{u}$: Identifiable Non-Linear ICA Without Side Information

• arxiv url: http://arxiv.org/abs/2106.05238v1
• Date: Wed, 9 Jun 2021 17:22:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 15:30:34.892268
• Title: I Don't Need $\mathbf{u}$: Identifiable Non-Linear ICA Without Side Information
• Title（参考訳）: I don't Need $\mathbf{u}$: Identably non-Linear ICA Without Side Information
• Authors: Matthew Willetts, Brooks Paige
• Abstract要約: 本稿では,非線形ICAモデルの同定のための新しいアプローチを提案する。 特に、潜在空間でクラスタリングを行う生成モデルに焦点を当てる。
• 参考スコア（独自算出の注目度）: 13.936583337756883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we introduce a new approach for identifiable non-linear ICA models. Recently there has been a renaissance in identifiability results in deep generative models, not least for non-linear ICA. These prior works, however, have assumed access to a sufficiently-informative auxiliary set of observations, denoted $\mathbf{u}$. We show here how identifiability can be obtained in the absence of this side-information, rendering possible fully-unsupervised identifiable non-linear ICA. While previous theoretical results have established the impossibility of identifiable non-linear ICA in the presence of infinitely-flexible universal function approximators, here we rely on the intrinsically-finite modelling capacity of any particular chosen parameterisation of a deep generative model. In particular, we focus on generative models which perform clustering in their latent space -- a model structure which matches previous identifiable models, but with the learnt clustering providing a synthetic form of auxiliary information. We evaluate our proposals using VAEs, on synthetic and image datasets, and find that the learned clusterings function effectively: deep generative models with latent clusterings are empirically identifiable, to the same degree as models which rely on side information.
• Abstract（参考訳）: 本稿では,非線形icaモデルに対する新しいアプローチを提案する。 近年,非線形ICAに対して,同定可能性の反響が深い生成モデルに現れている。 しかしながら、これらの先行研究は、十分に形式的な補助的な観測セットである $\mathbf{u}$ へのアクセスを前提としている。 ここでは、この側情報がない場合に、どのように識別可能性が得られるかを示す。 これまでの理論的結果は、無限フレキシブルな普遍関数近似器の存在下での同定可能な非線形ICAの不可能性を確立してきたが、ここでは、深い生成モデルの特定のパラメータ化の本質的な有限なモデリング能力に依存する。 特に,従来の識別可能なモデルと一致するモデル構造である潜在空間でクラスタリングを行う生成モデルに注目するが,学習したクラスタリングは補助情報の合成形式を提供する。 我々は,VAE,合成データセット,画像データセットを用いて提案手法を評価し,学習されたクラスタリングが効果的に機能することを発見した。

関連論文リスト

• BINDy -- Bayesian identification of nonlinear dynamics with reversible-jump Markov-chain Monte-Carlo [0.0]
  モデルパーシモニーは、データ駆動型モデリングにおける重要な認識バイアスであり、解釈可能性を助け、過度な適合を防ぐのに役立つ。 非線形力学(SINDy)法のスパース同定は、データから直接複素力学のスパース表現を学習することができる。 SINDyの代替として,辞書学習システム識別のベイズ的新しい治療法が提案されている。
  論文  参考訳（メタデータ） (2024-08-15T10:03:30Z)
• Towards a mathematical understanding of learning from few examples with nonlinear feature maps [68.8204255655161]
  トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。 我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
  論文  参考訳（メタデータ） (2022-11-07T14:52:58Z)
• Learning from few examples with nonlinear feature maps [68.8204255655161]
  我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。 本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
  論文  参考訳（メタデータ） (2022-03-31T10:36:50Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Disentangling Identifiable Features from Noisy Data with Structured Nonlinear ICA [4.340954888479091]
  我々は、SNICA(Structured Independent Component Analysis)と呼ばれる原則的絡み合いのための新しい一般化可能なフレームワークを導入する。 我々の貢献は、非常に広い階層構造モデルに対する深層生成モデルの識別可能性理論を拡張することである。 我々は,未知分布の雑音の存在下でも,このフレームワークの識別可能性が維持可能であるという主要な結果を確立する。
  論文  参考訳（メタデータ） (2021-06-17T15:56:57Z)
• On Linear Identifiability of Learned Representations [26.311880922890843]
  表現学習の文脈における識別可能性について検討する。 微分モデルの大きな族は、函数空間において、線形不確定性まで識別可能であることを示す。 我々は,線形識別可能性の十分な条件を導出し,実世界のシミュレーションデータと実世界のデータの両方で結果に対する実証的支援を提供する。
  論文  参考訳（メタデータ） (2020-07-01T23:33:37Z)
• Hidden Markov Nonlinear ICA: Unsupervised Learning from Nonstationary Time Series [0.0]
  非線形独立成分分析と隠れマルコフモデルを組み合わせる方法について述べる。 ニューラルネットワークのような一般の混合非線形性に対するモデルの有効性を実証する。 我々は、教師なし、より効率的で、基礎となる時間力学をモデル化できる新しい非線形ICAフレームワークを実現する。
  論文  参考訳（メタデータ） (2020-06-22T10:01:15Z)
• Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
  多視点問題は潜在変数モデルに直面することができる。 高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。 両アプローチを単一モデルにマージすることを提案する。
  論文  参考訳（メタデータ） (2020-06-01T14:25:38Z)
• ICE-BeeM: Identifiable Conditional Energy-Based Deep Models Based on Nonlinear ICA [11.919315372249802]
  確率モデルの同定可能性理論を考察する。 我々は,独立に修飾されたコンポーネント分析の枠組みにおけるコンポーネントの推定に,我々のモデルを利用できることを示す。
  論文  参考訳（メタデータ） (2020-02-26T14:43:30Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。