論文の概要: Understanding Catastrophic Interference On the Identifibility of Latent Representations

• arxiv url: http://arxiv.org/abs/2509.23027v1
• Date: Sat, 27 Sep 2025 00:53:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.993059
• Title: Understanding Catastrophic Interference On the Identifibility of Latent Representations
• Title（参考訳）: 潜在表現の識別可能性に関する破滅的干渉の理解
• Authors: Yuke Li, Yujia Zheng, Tianyi Xiong, Zhenyi Wang, Heng Huang,
• Abstract要約: 破滅的な干渉、あるいは破滅的な忘れ(Caastrophic forgetting)は、機械学習の根本的な課題である。 本稿では,破滅的干渉を識別問題として定式化する新しい理論枠組みを提案する。 我々のアプローチは、合成データセットとベンチマークデータセットの両方で理論的保証と実用的なパフォーマンスの改善を提供する。
• 参考スコア（独自算出の注目度）: 67.05452287233122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Catastrophic interference, also known as catastrophic forgetting, is a fundamental challenge in machine learning, where a trained learning model progressively loses performance on previously learned tasks when adapting to new ones. In this paper, we aim to better understand and model the catastrophic interference problem from a latent representation learning point of view, and propose a novel theoretical framework that formulates catastrophic interference as an identification problem. Our analysis demonstrates that the forgetting phenomenon can be quantified by the distance between partial-task aware (PTA) and all-task aware (ATA) setups. Building upon recent advances in identifiability theory, we prove that this distance can be minimized through identification of shared latent variables between these setups. When learning, we propose our method \ourmeos with two-stage training strategy: First, we employ maximum likelihood estimation to learn the latent representations from both PTA and ATA configurations. Subsequently, we optimize the KL divergence to identify and learn the shared latent variables. Through theoretical guarantee and empirical validations, we establish that identifying and learning these shared representations can effectively mitigate catastrophic interference in machine learning systems. Our approach provides both theoretical guarantees and practical performance improvements across both synthetic and benchmark datasets.
• Abstract（参考訳）: カタストロフィックな干渉、あるいはカタストロフィックな忘れ方(caastrophic forgetting)は、機械学習において基本的な課題であり、トレーニングされた学習モデルは、新しいタスクに適応する際に、前もって学習されたタスクのパフォーマンスを徐々に失う。 本稿では、潜在表現学習の観点から破滅的干渉問題をよりよく理解し、モデル化することを目的としており、破滅的干渉を識別問題として定式化する新しい理論的枠組みを提案する。 本分析は, 部分タスク認識(PTA)と全タスク認識(ATA)のセットアップ間の距離によって, 忘れる現象を定量化できることを実証する。 同定可能性理論の最近の進歩に基づき、これらの設定間の共有潜在変数の同定により、この距離を最小化できることを示す。 まず, PTA と ATA の両構成から潜在表現を学習するために, 最大推定値を用いて学習する。 その後、KLの発散を最適化し、共有潜在変数を特定し学習する。 理論的保証と実証的検証を通じて、これらの共有表現の識別と学習が機械学習システムにおける破滅的な干渉を効果的に軽減することを確立する。 我々のアプローチは、合成データセットとベンチマークデータセットの両方で理論的保証と実用的なパフォーマンスの改善を提供する。

関連論文リスト

• Revisiting Bisimulation Metric for Robust Representations in Reinforcement Learning [11.415684244202312]
  従来の模擬検定法では,2つの問題点が指摘されている。 本稿では,報酬ギャップのより正確な定義と適応係数を持つ新しい更新演算子を特徴とするバイシミュレーション・メトリックを提案する。
  論文  参考訳（メタデータ） (2025-07-24T15:42:22Z)
• Dynamic Programming Techniques for Enhancing Cognitive Representation in Knowledge Tracing [125.75923987618977]
  認知表現動的プログラミングに基づく知識追跡(CRDP-KT)モデルを提案する。 質問の難易度とそれらの間の性能間隔に基づいて認知表現を最適化する動的プログラミングアルゴリズムである。 これは、その後のモデルトレーニングのためにより正確で体系的な入力機能を提供し、それによって認知状態のシミュレーションにおける歪みを最小限にする。
  論文  参考訳（メタデータ） (2025-06-03T14:44:48Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Causality-Aware Transformer Networks for Robotic Navigation [13.719643934968367]
  Visual Navigationの現在の研究は、改善の機会を明らかにしている。 RNNとTransformerの直接的な採用はしばしば、Embodied AIと従来のシーケンシャルなデータモデリングの具体的な違いを見落としている。 因果理解モジュールを特徴とするナビゲーション用因果認識変換器(CAT)ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-09-04T12:53:26Z)
• Self-Distilled Disentangled Learning for Counterfactual Prediction [49.84163147971955]
  我々は、SD2$として知られる自己蒸留遠絡フレームワークを提案する。 情報理論を基礎として、複雑な相互情報推定器の設計を伴わずに、理論上独立に不整合表現を鳴らす。 人工と実世界の両方のデータセットを用いて実験を行い,本手法の有効性を確認した。
  論文  参考訳（メタデータ） (2024-06-09T16:58:19Z)
• Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
  対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。 この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
  論文  参考訳（メタデータ） (2024-05-29T15:44:51Z)
• Towards Causal Foundation Model: on Duality between Causal Inference and Attention [18.046388712804042]
  治療効果推定のための因果認識基盤モデルの構築に向けて第一歩を踏み出す。 我々はCInA(Causal Inference with Attention)と呼ばれる新しい理論的に正当化された手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T22:28:34Z)
• Which Mutual-Information Representation Learning Objectives are Sufficient for Control? [80.2534918595143]
  相互情報は、データの表現を学習するために魅力的な形式を提供する。 本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。 意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-14T10:12:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。