論文の概要: Learning with Preserving for Continual Multitask Learning

• arxiv url: http://arxiv.org/abs/2511.11676v1
• Date: Tue, 11 Nov 2025 22:23:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:22.898491
• Title: Learning with Preserving for Continual Multitask Learning
• Title（参考訳）: 連続マルチタスク学習のための学習
• Authors: Hanchen David Wang, Siwoo Bae, Zirong Chen, Meiyi Ma,
• Abstract要約: タスク出力の保存から共有表現空間の維持に焦点を移す新しいフレームワークであるLawP(Learning with Preserving)を紹介した。 LwPは破滅的な忘れを緩和するだけでなく、CMTLタスクにおける最先端のベースラインを一貫して上回る。
• 参考スコア（独自算出の注目度）: 4.847042727427382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial intelligence systems in critical fields like autonomous driving and medical imaging analysis often continually learn new tasks using a shared stream of input data. For instance, after learning to detect traffic signs, a model may later need to learn to classify traffic lights or different types of vehicles using the same camera feed. This scenario introduces a challenging setting we term Continual Multitask Learning (CMTL), where a model sequentially learns new tasks on an underlying data distribution without forgetting previously learned abilities. Existing continual learning methods often fail in this setting because they learn fragmented, task-specific features that interfere with one another. To address this, we introduce Learning with Preserving (LwP), a novel framework that shifts the focus from preserving task outputs to maintaining the geometric structure of the shared representation space. The core of LwP is a Dynamically Weighted Distance Preservation (DWDP) loss that prevents representation drift by regularizing the pairwise distances between latent data representations. This mechanism of preserving the underlying geometric structure allows the model to retain implicit knowledge and support diverse tasks without requiring a replay buffer, making it suitable for privacy-conscious applications. Extensive evaluations on time-series and image benchmarks show that LwP not only mitigates catastrophic forgetting but also consistently outperforms state-of-the-art baselines in CMTL tasks. Notably, our method shows superior robustness to distribution shifts and is the only approach to surpass the strong single-task learning baseline, underscoring its effectiveness for real-world dynamic environments.
• Abstract（参考訳）: 自律運転や医療画像分析といった重要な分野における人工知能システムは、入力データの共有ストリームを使用して、新しいタスクを継続的に学習する。 例えば、交通標識を検知した後に、同じカメラフィードを使用して信号機や異なる種類の車両を分類する方法を学ぶ必要がある。 このシナリオでは、モデルが学習済みの能力を忘れずに、基礎となるデータ分散上の新しいタスクを逐次学習するCMTL(Continuous Multitask Learning)という難しい設定を導入する。 既存の継続的学習方法は、断片化されたタスク固有の特徴が互いに干渉するので、この設定で失敗することが多い。 これを解決するために,タスク出力の保存から共有表現空間の幾何学的構造維持に焦点を移す新しいフレームワークであるLawP(Learning with Preserving)を導入する。 LwPの中核はDWDP(Dynamically Weighted Distance Preservation)損失であり、遅延データ表現間のペア距離を正規化することで表現のドリフトを防止する。 基礎となる幾何学的構造を保存するメカニズムにより、リプレイバッファを必要とせずに暗黙の知識を保持し、多様なタスクをサポートすることができ、プライバシーに配慮したアプリケーションに適している。 時系列および画像ベンチマークの大規模な評価は、LwPが破滅的な忘れを緩和するだけでなく、CMTLタスクにおける最先端のベースラインを一貫して上回っていることを示している。 特に,本手法は分散シフトに優れたロバスト性を示し,実世界の動的環境に対するその効果を裏付ける強力な単一タスク学習ベースラインを超える唯一のアプローチである。

関連論文リスト

• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• Analytic Subspace Routing: How Recursive Least Squares Works in Continual Learning of Large Language Model [6.42114585934114]
  大規模言語モデル(LLM)には、多様な言語関連タスクを処理できる機能がある。 大規模言語モデル(LLM)における継続的な学習は、LLMを新しいタスクに継続的に適応させることを目的としている。 本稿では,これらの課題に対処するため,ASR(Analytic Subspace Routing)を提案する。
  論文  参考訳（メタデータ） (2025-03-17T13:40:46Z)
• Get Rid of Isolation: A Continuous Multi-task Spatio-Temporal Learning Framework [10.33844348594636]
  我々は,都市の総合的知能を高めるために,連続マルチタスク時空間学習フレームワーク(CMuST)を提案することが不可欠であると主張する。 CMuSTは、都市時間学習を単一ドメインから協調マルチタスク学習に改革する。 マルチタスク時間学習のための3つの都市のベンチマークを作成し,CMuSTの優位性を実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-14T14:04:36Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• CTP: Towards Vision-Language Continual Pretraining via Compatible Momentum Contrast and Topology Preservation [128.00940554196976]
  Vision-Language Continual Pretraining (VLCP)は、大規模なデータセット上でオフラインでトレーニングすることで、さまざまな下流タスクに対して印象的な結果を示している。 VLCP(Vision-Language Continual Pretraining)の研究を支援するために,我々はまず,包括的で統一されたベンチマークデータセットP9Dをコントリビュートする。 独立したタスクとしての各業界からのデータは、継続的な学習をサポートし、Webデータの事前学習をシミュレートする現実世界のロングテールな性質に準拠している。
  論文  参考訳（メタデータ） (2023-08-14T13:53:18Z)
• Continual Vision-Language Representation Learning with Off-Diagonal Information [112.39419069447902]
  CLIPのようなマルチモーダルなコントラスト学習フレームワークは通常、トレーニングに大量の画像テキストサンプルを必要とする。 本稿では,ストリーミングデータを用いた連続CLIPトレーニングの実現可能性について論じる。
  論文  参考訳（メタデータ） (2023-05-11T08:04:46Z)
• Interval Bound Interpolation for Few-shot Learning with Few Tasks [15.85259386116784]
  少ないショット学習は、さまざまなタスクのトレーニングから得られた知識を、限られたラベル付きデータで見つからないタスクに転送することを目的としている。 そこで本研究では,頑健な学習文献から数ショット学習まで,インターバルバウンダリの概念を紹介した。 次に、利用可能なタスクと各インターバル境界を補間することにより、トレーニングのための新しいタスクを人工的に形成する。
  論文  参考訳（メタデータ） (2022-04-07T15:29:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。