論文の概要: Disentanglement by Nonlinear ICA with General Incompressible-flow Networks (GIN)

• arxiv url: http://arxiv.org/abs/2001.04872v1
• Date: Tue, 14 Jan 2020 16:25:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 12:07:18.224904
• Title: Disentanglement by Nonlinear ICA with General Incompressible-flow Networks (GIN)
• Title（参考訳）: 一般圧縮性流路網(GIN)を用いた非線形ICAによる絡み合い
• Authors: Peter Sorrenson, Carsten Rother, Ullrich K\"othe
• Abstract要約: 表現学習の中心的な問題は、任意の複雑な生成過程の真の潜伏変数をどの条件で再構築できるかを問うものである。 Khehemらによる非線形ICAに関する最近の画期的な研究は、この疑問に幅広い条件生成過程のクラスで答えている。 我々は、この重要な結果を現実世界のデータへの応用に関係した方向に拡張する。
• 参考スコア（独自算出の注目度）: 30.74691299906988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A central question of representation learning asks under which conditions it is possible to reconstruct the true latent variables of an arbitrarily complex generative process. Recent breakthrough work by Khemakhem et al. (2019) on nonlinear ICA has answered this question for a broad class of conditional generative processes. We extend this important result in a direction relevant for application to real-world data. First, we generalize the theory to the case of unknown intrinsic problem dimension and prove that in some special (but not very restrictive) cases, informative latent variables will be automatically separated from noise by an estimating model. Furthermore, the recovered informative latent variables will be in one-to-one correspondence with the true latent variables of the generating process, up to a trivial component-wise transformation. Second, we introduce a modification of the RealNVP invertible neural network architecture (Dinh et al. (2016)) which is particularly suitable for this type of problem: the General Incompressible-flow Network (GIN). Experiments on artificial data and EMNIST demonstrate that theoretical predictions are indeed verified in practice. In particular, we provide a detailed set of exactly 22 informative latent variables extracted from EMNIST.
• Abstract（参考訳）: 表現学習の中心的な問題は、任意の複雑な生成過程の真の潜在変数を再構築できる条件を問うものである。 Khemakhem et al. (2019) による非線形ICAに関する最近の画期的な研究は、この疑問に幅広い条件生成過程のクラスで答えている。 この重要な結果を、実際のデータに適用するための方向まで拡張します。 まず、理論を未知の内在的問題次元の場合には一般化し、いくつかの特別な(しかし非常に制限的な)ケースでは、有益な潜在変数が推定モデルによって自動的にノイズから分離されることを証明する。 さらに、回収された情報的潜在変数は、自明なコンポーネント・ワイズ変換まで、生成プロセスの真の潜在変数と1対1で対応します。 第2に,この種の問題に特に適合する realnvp invertible neural network architecture (dinh et al. (2016)) の修正について紹介する。 人工データとEMNISTの実験は、理論的な予測が実際に検証されていることを示した。 特に,EMNISTから抽出した22個の情報潜伏変数の詳細な集合について述べる。

関連論文リスト

• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• Causality Pursuit from Heterogeneous Environments via Neural Adversarial Invariance Learning [12.947265104477237]
  データから因果関係を抽出することは、科学的発見、治療介入、伝達学習における根本的な問題である。 Focused Adversial Invariant Regularization (FAIR) フレームワークは、革新的なミニマックス最適化アプローチを採用している。 FAIR-NNは最小の識別条件下で不変変数と準因果変数を見つけることができる。
  論文  参考訳（メタデータ） (2024-05-07T23:37:40Z)
• Generalization Error Guaranteed Auto-Encoder-Based Nonlinear Model Reduction for Operator Learning [12.124206935054389]
  本稿では,オートエンコーダベースニューラルネットワーク(AENet)によるモデル縮小における低次元非線形構造の利用について述べる。 数値実験により,非線形偏微分方程式の解演算子を正確に学習する能力について検証した。 我々の理論的枠組みは、AENetのトレーニングのサンプルの複雑さが、モデル化されたプロセスの本質的な次元と複雑に結びついていることを示している。
  論文  参考訳（メタデータ） (2024-01-19T05:01:43Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Score-based Causal Representation Learning with Interventions [54.735484409244386]
  本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。 目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
  論文  参考訳（メタデータ） (2023-01-19T18:39:48Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• High-Dimensional Undirected Graphical Models for Arbitrary Mixed Data [2.2871867623460207]
  多くのアプリケーションでは、データは異なるタイプの変数にまたがる。 最近の進歩は、バイナリ連続ケースにどのように取り組めるかを示しているが、一般的な混合変数型構造は依然として困難である。 完全混合型の変数を持つデータに対して,フレキシブルでスケーラブルな手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:21:31Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Nonlinear Invariant Risk Minimization: A Causal Approach [5.63479133344366]
  非線形環境下での分布外一般化を可能にする学習パラダイムを提案する。 我々は、非常に単純な変換までデータ表現の識別性を示す。 合成データと実世界のデータセットの両方に関する広範な実験は、我々のアプローチが様々なベースラインメソッドを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-02-24T15:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。