論文の概要: Understanding Catastrophic Interference On the Identifibility of Latent Representations

• arxiv url: http://arxiv.org/abs/2509.23027v1
• Date: Sat, 27 Sep 2025 00:53:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.993059
• Title: Understanding Catastrophic Interference On the Identifibility of Latent Representations
• Title（参考訳）: 潜在表現の識別可能性に関する破滅的干渉の理解
• Authors: Yuke Li, Yujia Zheng, Tianyi Xiong, Zhenyi Wang, Heng Huang,
• Abstract要約: 破滅的な干渉、あるいは破滅的な忘れ(Caastrophic forgetting)は、機械学習の根本的な課題である。 本稿では,破滅的干渉を識別問題として定式化する新しい理論枠組みを提案する。 我々のアプローチは、合成データセットとベンチマークデータセットの両方で理論的保証と実用的なパフォーマンスの改善を提供する。
• 参考スコア（独自算出の注目度）: 67.05452287233122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Catastrophic interference, also known as catastrophic forgetting, is a fundamental challenge in machine learning, where a trained learning model progressively loses performance on previously learned tasks when adapting to new ones. In this paper, we aim to better understand and model the catastrophic interference problem from a latent representation learning point of view, and propose a novel theoretical framework that formulates catastrophic interference as an identification problem. Our analysis demonstrates that the forgetting phenomenon can be quantified by the distance between partial-task aware (PTA) and all-task aware (ATA) setups. Building upon recent advances in identifiability theory, we prove that this distance can be minimized through identification of shared latent variables between these setups. When learning, we propose our method \ourmeos with two-stage training strategy: First, we employ maximum likelihood estimation to learn the latent representations from both PTA and ATA configurations. Subsequently, we optimize the KL divergence to identify and learn the shared latent variables. Through theoretical guarantee and empirical validations, we establish that identifying and learning these shared representations can effectively mitigate catastrophic interference in machine learning systems. Our approach provides both theoretical guarantees and practical performance improvements across both synthetic and benchmark datasets.
• Abstract（参考訳）: カタストロフィックな干渉、あるいはカタストロフィックな忘れ方(caastrophic forgetting)は、機械学習において基本的な課題であり、トレーニングされた学習モデルは、新しいタスクに適応する際に、前もって学習されたタスクのパフォーマンスを徐々に失う。 本稿では、潜在表現学習の観点から破滅的干渉問題をよりよく理解し、モデル化することを目的としており、破滅的干渉を識別問題として定式化する新しい理論的枠組みを提案する。 本分析は, 部分タスク認識(PTA)と全タスク認識(ATA)のセットアップ間の距離によって, 忘れる現象を定量化できることを実証する。 同定可能性理論の最近の進歩に基づき、これらの設定間の共有潜在変数の同定により、この距離を最小化できることを示す。 まず, PTA と ATA の両構成から潜在表現を学習するために, 最大推定値を用いて学習する。 その後、KLの発散を最適化し、共有潜在変数を特定し学習する。 理論的保証と実証的検証を通じて、これらの共有表現の識別と学習が機械学習システムにおける破滅的な干渉を効果的に軽減することを確立する。 我々のアプローチは、合成データセットとベンチマークデータセットの両方で理論的保証と実用的なパフォーマンスの改善を提供する。

関連論文リスト

• On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
  次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。 我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。 本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
  論文  参考訳（メタデータ） (2026-01-29T17:48:56Z)
• Measure-Theoretic Anti-Causal Representation Learning [29.12751904333385]
  反因果設定(ラベルは逆ではなく特徴を引き起こす)における因果表現学習は、固有の課題を提示する。 本稿では,反因果表現学習のための新しい測度理論フレームワークである反因果不変抽象化(ACIA)を提案する。 ACIAは2段階の設計を採用し、低レベルの表現はラベルがどのように観測を生成しているかを捉え、高レベルの表現は環境固有のバリエーションを越えて安定した因果パターンを学習する。
  論文  参考訳（メタデータ） (2025-10-16T22:13:05Z)
• Revisiting Bisimulation Metric for Robust Representations in Reinforcement Learning [11.415684244202312]
  従来の模擬検定法では,2つの問題点が指摘されている。 本稿では,報酬ギャップのより正確な定義と適応係数を持つ新しい更新演算子を特徴とするバイシミュレーション・メトリックを提案する。
  論文  参考訳（メタデータ） (2025-07-24T15:42:22Z)
• Dynamic Programming Techniques for Enhancing Cognitive Representation in Knowledge Tracing [125.75923987618977]
  認知表現動的プログラミングに基づく知識追跡(CRDP-KT)モデルを提案する。 質問の難易度とそれらの間の性能間隔に基づいて認知表現を最適化する動的プログラミングアルゴリズムである。 これは、その後のモデルトレーニングのためにより正確で体系的な入力機能を提供し、それによって認知状態のシミュレーションにおける歪みを最小限にする。
  論文  参考訳（メタデータ） (2025-06-03T14:44:48Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Independence Constrained Disentangled Representation Learning from Epistemological Perspective [13.51102815877287]
  Disentangled Representation Learningは、データ生成プロセスにおいて意味論的に意味のある潜伏変数を識別するデータエンコーダをトレーニングすることで、ディープラーニングメソッドの説明可能性を向上させることを目的としている。 不整合表現学習の目的については合意が得られない。 本稿では,相互情報制約と独立性制約を統合した非絡み合い表現学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-04T13:00:59Z)
• Causality-Aware Transformer Networks for Robotic Navigation [13.719643934968367]
  Visual Navigationの現在の研究は、改善の機会を明らかにしている。 RNNとTransformerの直接的な採用はしばしば、Embodied AIと従来のシーケンシャルなデータモデリングの具体的な違いを見落としている。 因果理解モジュールを特徴とするナビゲーション用因果認識変換器(CAT)ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-09-04T12:53:26Z)
• Self-Distilled Disentangled Learning for Counterfactual Prediction [49.84163147971955]
  我々は、SD2$として知られる自己蒸留遠絡フレームワークを提案する。 情報理論を基礎として、複雑な相互情報推定器の設計を伴わずに、理論上独立に不整合表現を鳴らす。 人工と実世界の両方のデータセットを用いて実験を行い,本手法の有効性を確認した。
  論文  参考訳（メタデータ） (2024-06-09T16:58:19Z)
• Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
  対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。 この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
  論文  参考訳（メタデータ） (2024-05-29T15:44:51Z)
• Towards Causal Foundation Model: on Duality between Causal Inference and Attention [18.046388712804042]
  治療効果推定のための因果認識基盤モデルの構築に向けて第一歩を踏み出す。 我々はCInA(Causal Inference with Attention)と呼ばれる新しい理論的に正当化された手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T22:28:34Z)
• Which Mutual-Information Representation Learning Objectives are Sufficient for Control? [80.2534918595143]
  相互情報は、データの表現を学習するために魅力的な形式を提供する。 本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。 意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-14T10:12:34Z)
• Anatomy of Catastrophic Forgetting: Hidden Representations and Task Semantics [24.57617154267565]
  ニューラルネットワークモデルにおいて,忘れることが表現に与える影響について検討する。 深い層が忘れる原因であることに気付きました。 また,CIFAR-100をベースとした,現実的な入力分布シフトを近似するタスクも導入する。
  論文  参考訳（メタデータ） (2020-07-14T23:31:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。