論文の概要: Forgetting, plasticity, and co-observation: a third facet of continual learning
- arxiv url: http://arxiv.org/abs/2608.18803v1
- Date: Wed, 19 Aug 2026 10:59:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.380715
- Title: Forgetting, plasticity, and co-observation: a third facet of continual learning
- Title（参考訳）: 鍛造・塑性・共観測--継続学習の第3の側面
- Abstract要約: 効率的な連続学習は、ディープニューラルネットワークの基本的な課題である。
破滅的な忘れ忘れと可塑性の喪失が克服すべき主要な障害であると広く考えられている。
連続学習性能に影響を及ぼす要因として,データの共観測に注目した。
- 参考スコア（独自算出の注目度）: 35.010469869321305
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efficient continual learning remains a fundamental challenge for deep neural networks. While catastrophic forgetting and loss of plasticity are widely considered the primary obstacles to overcome, we show that these two issues cannot fully explain the performance gap between naive sequential training and offline joint training. In this paper, we highlight data co-observation as a distinct factor influencing continual learning performance. By decoupling the constraints of separate data access from stability and plasticity, we systematically investigate the representational benefits gained by observing training data together. Empirically, we demonstrate a consistent performance difference between joint and separate training across both supervised and self-supervised paradigms in generic data-incremental "chunking" scenarios, whilst mitigating forgetting and controlling for plasticity. Our findings indicate that simultaneous observation of training data (co-observation) yields benefits to the learner's generalization that extend well beyond mere knowledge retention, and that this effect does not require a specific continual distribution shift. Furthermore, we contextualize prominent continual learning mechanisms through this lens: while distillation-based approaches act only as effective knowledge retention mechanisms, our results suggest that the empirical success of memory replay goes beyond the mitigation of forgetting, actively reintroducing the benefits of data co-observation into the learning process.
- Abstract（参考訳）: 効率的な連続学習は、ディープニューラルネットワークの基本的な課題である。
破滅的な忘れ忘れと可塑性の喪失が克服すべき主要な障害と考えられているが、これらの2つの問題は、素早い逐次トレーニングとオフライン関節トレーニングの間のパフォーマンスギャップを完全に説明できないことを示している。
本稿では,連続学習性能に影響を及ぼす要因として,データの共観測に注目した。
安定性と可塑性から分離したデータアクセスの制約を分離することにより、トレーニングデータを一緒に観察することで得られる表現的メリットを体系的に検討する。
実験では, 包括的データ増分的「チャンキング」のシナリオにおいて, 教師付きパラダイムと自己監督型パラダイムのどちらにおいても, 連帯トレーニングと個別トレーニングの間に一貫した性能差を示すとともに, 可塑性の抑制と制御を図っている。
本研究は,学習者の学習データ(共観測)の同時観察が,学習者の知識保持をはるかに超越した一般化に利益をもたらすことを示唆し,この効果が特定の連続的な分布シフトを必要としないことを示唆する。
蒸留法に基づくアプローチは,効果的な知識保持機構としてのみ機能する一方で,メモリリプレイの実証的成功は,記憶の緩和以上のものであり,データ共観測のメリットを学習プロセスに積極的に再導入することが示唆された。
関連論文リスト
- Understanding Catastrophic Interference: On the Identifibility of Latent Representations [67.05452287233122]
破滅的な干渉、あるいは破滅的な忘れ(Caastrophic forgetting)は、機械学習の根本的な課題である。
本稿では,破滅的干渉を識別問題として定式化する新しい理論枠組みを提案する。
我々のアプローチは、合成データセットとベンチマークデータセットの両方で理論的保証と実用的なパフォーマンスの改善を提供する。
論文 参考訳（メタデータ） (2025-09-27T00:53:32Z) - Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。
本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。
本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
論文 参考訳（メタデータ） (2025-07-31T05:34:27Z) - Action Chunking and Exploratory Data Collection Yield Exponential Improvements in Behavior Cloning for Continuous Control [24.901172157291096]
オープンループにおける行動列の予測と,専門家による実証実験の探索的拡張について検討した。
本研究は,制御理論的安定性をこれらの介入の利点の根底にある重要なメカニズムとして同定した。
理論面では、制御理論レンズが複合誤差の発生に関する詳細な知見を提供することを示した。
論文 参考訳（メタデータ） (2025-07-11T22:36:39Z) - Global Convergence of Continual Learning on Non-IID Data [51.99584235667152]
回帰モデルの連続学習のための総合的・包括的理論的解析を行う。
一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。
論文 参考訳（メタデータ） (2025-03-24T10:06:07Z) - Learning to Unlearn while Retaining: Combating Gradient Conflicts in Machine Unlearning [20.479485237420985]
本研究では,学習対象と保持対象との勾配の衝突を軽減することを目的とした,学習継続時の学習を提案する。
提案手法は,提案フレームワーク内で自然に現れる暗黙の勾配正規化機構を通じて,競合を戦略的に回避する。
我々は差別的タスクと生成的タスクの両方にまたがってアプローチを検証し、残したデータの性能を損なうことなく、未学習を達成できることの有効性を実証した。
論文 参考訳（メタデータ） (2025-03-08T21:00:36Z) - Temporal-Difference Variational Continual Learning [77.92320830700797]
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - The Curse of Diversity in Ensemble-Based Exploration [7.209197316045156]
データ共有エージェントの多様なアンサンブルの訓練は、個々のアンサンブルメンバーのパフォーマンスを著しく損なう可能性がある。
私たちはこの現象を多様性の呪いと呼んでいる。
多様性の呪いに対処する表現学習の可能性を示す。
論文 参考訳（メタデータ） (2024-05-07T14:14:50Z) - Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳（メタデータ） (2024-01-10T04:55:24Z) - Stable and Causal Inference for Discriminative Self-supervised Deep
Visual Representations [10.41003719027387]
我々は、不安定な行動を説明するために、因果的観点から差別的自己監督手法を分析する。
我々のソリューションは、制御された合成データで線形変換を温めることを含む。
論文 参考訳（メタデータ） (2023-08-16T12:30:17Z) - The Difficulty of Passive Learning in Deep Reinforcement Learning [26.124032923011328]
アクティブな環境相互作用のない観測データから行動する学習は、強化学習(RL)の課題としてよく知られている。
最近のアプローチでは、学習したポリシーや保守的な更新に対する制約が伴い、データセットのステートアクション分布からの強い逸脱を防ぐ。
オフライン強化学習における困難を実証的に分析する「タンデム学習」実験パラダイムを提案する。
論文 参考訳（メタデータ） (2021-10-26T20:50:49Z) - Towards Unbiased Visual Emotion Recognition via Causal Intervention [63.74095927462]
本稿では,データセットバイアスによる負の効果を軽減するために,新しい感情認識ネットワーク(IERN)を提案する。
IERNの有効性を検証する一連の設計されたテストと、3つの感情ベンチマークの実験は、IERNが他の最先端のアプローチよりも優れていることを示した。
論文 参考訳（メタデータ） (2021-07-26T10:40:59Z) - Provably Efficient Causal Reinforcement Learning with Confounded
Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。
提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-22T14:49:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。