論文の概要: Continual Learning of Nonlinear Independent Representations

• arxiv url: http://arxiv.org/abs/2408.05788v1
• Date: Sun, 11 Aug 2024 14:33:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 15:27:01.113532
• Title: Continual Learning of Nonlinear Independent Representations
• Title（参考訳）: 非線形独立表現の連続学習
• Authors: Boyang Sun, Ignavier Ng, Guangyi Chen, Yifan Shen, Qirong Ho, Kun Zhang,
• Abstract要約: 分布数の増加に伴い,モデル識別可能性がサブスペースレベルからコンポーネントワイドレベルに向上することを示す。 本手法は,複数のオフライン分布に対して共同で学習した非線形ICA法に匹敵する性能を実現する。
• 参考スコア（独自算出の注目度）: 17.65617189829692
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Identifying the causal relations between interested variables plays a pivotal role in representation learning as it provides deep insights into the dataset. Identifiability, as the central theme of this approach, normally hinges on leveraging data from multiple distributions (intervention, distribution shift, time series, etc.). Despite the exciting development in this field, a practical but often overlooked problem is: what if those distribution shifts happen sequentially? In contrast, any intelligence possesses the capacity to abstract and refine learned knowledge sequentially -- lifelong learning. In this paper, with a particular focus on the nonlinear independent component analysis (ICA) framework, we move one step forward toward the question of enabling models to learn meaningful (identifiable) representations in a sequential manner, termed continual causal representation learning. We theoretically demonstrate that model identifiability progresses from a subspace level to a component-wise level as the number of distributions increases. Empirically, we show that our method achieves performance comparable to nonlinear ICA methods trained jointly on multiple offline distributions and, surprisingly, the incoming new distribution does not necessarily benefit the identification of all latent variables.
• Abstract（参考訳）: 興味のある変数間の因果関係を特定することは、データセットに対する深い洞察を提供するため、表現学習において重要な役割を果たす。 このアプローチの中心的なテーマである識別可能性は通常、複数のディストリビューション(インターベンション、分散シフト、時系列など)のデータを活用することに重点を置いています。 この分野でのエキサイティングな展開にもかかわらず、実際は見過ごされがちな問題は次のとおりである。 対照的に、あらゆる知性は、学習した知識を逐次的に抽象化し、洗練する能力を持っている。 本稿では,非線型独立成分分析(ICA)フレームワークに特化して,連続因果表現学習(continuousal causal representation learning)と呼ばれる連続的な方法で意味のある(識別可能な)表現を学習できるモデルの実現という課題に向けて一歩前進する。 理論的には、分布の数が増加するにつれて、モデル識別可能性がサブスペースレベルからコンポーネントワイドレベルへと進むことが示される。 実験により,本手法は複数のオフライン分布に対して協調的に学習した非線形ICA法に匹敵する性能を達成できることを示す。

関連論文リスト

• Self-supervised contrastive learning performs non-linear system identification [2.393499494583001]
  自己教師型学習は潜在空間においてシステム識別を行うことができることを示す。 非線形観測モデルの下で線形・切替線形・非線形力学を明らかにするためのフレームワークであるDynCLを提案する。
  論文  参考訳（メタデータ） (2024-10-18T17:59:25Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [95.49699178874683]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Multi-Domain Causal Representation Learning via Weak Distributional Invariances [27.72497122405241]
  因果表現学習は因果機械学習研究における行動の中心として現れてきた。 このような不変性を組み込んだオートエンコーダは、他の部分から異なる設定で安定なラテントの集合を確実に特定できることを示す。
  論文  参考訳（メタデータ） (2023-10-04T14:41:41Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Temporally Disentangled Representation Learning [14.762231867144065]
  下位の潜伏変数とその因果関係が任意の非パラメトリック因果関係を持つかどうかは不明である。 時間遅延因果変数を復元する基本フレームワークである textbftextttTDRL を提案する。 私たちのアプローチは、このモジュラー表現を正しく活用しない既存のベースラインをかなり上回ります。
  論文  参考訳（メタデータ） (2022-10-24T23:02:49Z)
• Generalized Representations Learning for Time Series Classification [28.230863650758447]
  時間的複雑性は時系列分類における未知の潜在分布に起因していると主張する。 本研究では,ジェスチャー認識,音声コマンド認識,ウェアラブルストレスと感情検出,センサによる人間の活動認識に関する実験を行う。
  論文  参考訳（メタデータ） (2022-09-15T03:36:31Z)
• From latent dynamics to meaningful representations [0.5728954513076778]
  純粋に動的に制約された表現学習フレームワークを提案する。 これは力学系における表現学習のより自然な制約であることを示す。 我々は,現実の蛍光DNAフィルムデータセットを含む様々なシステムに対して,我々の枠組みを検証する。
  論文  参考訳（メタデータ） (2022-09-02T09:27:37Z)
• Learning from Heterogeneous Data Based on Social Interactions over Graphs [58.34060409467834]
  本研究では,個別のエージェントが異なる次元のストリーミング特徴を観察しながら分類問題の解決を目指す分散アーキテクチャを提案する。 私たちはそれを示します。 戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。 私たちはそれを示します。 戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。
  論文  参考訳（メタデータ） (2021-12-17T12:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。