論文の概要: Probing the Robustness of Independent Mechanism Analysis for Representation Learning

• arxiv url: http://arxiv.org/abs/2207.06137v1
• Date: Wed, 13 Jul 2022 11:51:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 11:58:00.136318
• Title: Probing the Robustness of Independent Mechanism Analysis for Representation Learning
• Title（参考訳）: 表現学習における独立機構解析のロバスト性の検討
• Authors: Joanna Sliwa, Shubhangi Ghosh, Vincent Stimper, Luigi Gresele, Bernhard Sch\"olkopf
• Abstract要約: 独立メカニズム分析 (Independent Mechanism Analysis, IMA) と呼ばれる最近提案された手法は、各潜水源が観測された混合物に独立に影響を及ぼすべきであることを仮定している。 IMAをベースとした正則化による真の情報源の復元は,IMAの原理に違反する様々な度合いの混合関数に拡張されることを示す。
• 参考スコア（独自算出の注目度）: 9.595894646594274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One aim of representation learning is to recover the original latent code that generated the data, a task which requires additional information or inductive biases. A recently proposed approach termed Independent Mechanism Analysis (IMA) postulates that each latent source should influence the observed mixtures independently, complementing standard nonlinear independent component analysis, and taking inspiration from the principle of independent causal mechanisms. While it was shown in theory and experiments that IMA helps recovering the true latents, the method's performance was so far only characterized when the modeling assumptions are exactly satisfied. Here, we test the method's robustness to violations of the underlying assumptions. We find that the benefits of IMA-based regularization for recovering the true sources extend to mixing functions with various degrees of violation of the IMA principle, while standard regularizers do not provide the same merits. Moreover, we show that unregularized maximum likelihood recovers mixing functions which systematically deviate from the IMA principle, and provide an argument elucidating the benefits of IMA-based regularization.
• Abstract（参考訳）: 表現学習の1つの目的は、データを生成する元の潜在コード、追加情報や帰納バイアスを必要とするタスクを復元することである。 最近提案された独立機構解析 (ima) は、各潜在源は観測された混合物に独立に影響を与え、標準の非線形独立成分分析を補完し、独立因果機構の原理からインスピレーションを得ていると仮定している。 IMAが真の潜伏剤の回収に有効であることを示す理論や実験で示されたが、この手法の性能はモデリングの前提が正確に満たされている場合にのみ特徴付けられる。 ここでは,基礎となる仮定の違反に対するロバスト性をテストする。 IMAの正則化による真の情報源の回復の利点は、IMAの原理に違反する様々な度合いの混合関数にまで及んでいるが、標準正則化では同様の利点が得られない。 さらに,IMAの原理から体系的に逸脱する混合関数を非正規化最大値で回収し,IMAに基づく正規化の利点を解明する論証を提供する。

関連論文リスト

• Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
  この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。 本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。 学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T02:38:21Z)
• Independent Mechanism Analysis and the Manifold Hypothesis [18.84905847863953]
  独立メカニズム分析(IMA)は非線形独立成分分析(ICA)における非識別性に対処しようとする 我々は IMA を、ラテント空間よりも高次元に埋め込まれた多様体上に存在する多くの混合の集合に拡張する。 IMAの原理は、潜伏成分が観測に影響を及ぼす方向がランダムに独立して選択される場合、確率が大まかに満たされることを証明している。
  論文  参考訳（メタデータ） (2023-12-20T21:29:00Z)
• Unsupervised representation learning with recognition-parametrised probabilistic models [12.865596223775649]
  認識パラメータモデル(RPM)に基づく確率的教師なし学習の新しいアプローチを提案する。 観測が条件独立であるというキー前提の下では、RPMはパラメトリックな事前条件付き潜時分布と非パラメトリックな観測因子を結合する。 RPMは、動物と人工知能の両方にとって重要な機能である観測データの基礎となる有意義な潜在構造を発見する強力なフレームワークを提供する。
  論文  参考訳（メタデータ） (2022-09-13T00:33:21Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Independent mechanism analysis, a new concept? [3.2548794659022393]
  Identifiabilityは、通常観察される変数が生成プロセスに含まれる設定で回復することができる。 我々は,非線形ブラインド音源分離における非識別性問題の多くを回避できるという理論的,実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2021-06-09T16:45:00Z)
• Bayesian Uncertainty Estimation of Learned Variational MRI Reconstruction [63.202627467245584]
  我々は,モデル不連続な不確かさを定量化するベイズ変分フレームワークを提案する。 提案手法はMRIのアンダーサンプを用いた再建術の術後成績を示す。
  論文  参考訳（メタデータ） (2021-02-12T18:08:14Z)
• Nonlinear Independent Component Analysis for Continuous-Time Signals [85.59763606620938]
  このプロセスの混合物の観察から多次元音源過程を復元する古典的問題を考察する。 このリカバリは、この混合物が十分に微分可能で可逆な関数によって与えられる場合、多くの一般的なプロセスのモデル(座標の順序と単調スケーリングまで)に対して可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-04T20:28:44Z)
• Learning Robust Models Using The Principle of Independent Causal Mechanisms [26.79262903241044]
  ICMの原理から目的関数を導出する勾配学習フレームワークを提案する。 理論的、実験的に、このフレームワークで訓練されたニューラルネットワークは、環境間で不変な関係に重点を置いていることを示す。
  論文  参考訳（メタデータ） (2020-10-14T15:38:01Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。