論文の概要: A Comprehensive Survey on Continual Learning in Generative Models

• arxiv url: http://arxiv.org/abs/2506.13045v2
• Date: Wed, 18 Jun 2025 15:06:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 13:10:45.360741
• Title: A Comprehensive Survey on Continual Learning in Generative Models
• Title（参考訳）: 生成モデルにおける連続学習に関する包括的調査
• Authors: Haiyang Guo, Fanhu Zeng, Fei Zhu, Jiayi Wang, Xukai Wang, Jingang Zhou, Hongbo Zhao, Wenzhuo Liu, Shijie Ma, Da-Han Wang, Xu-Yao Zhang, Cheng-Lin Liu,
• Abstract要約: 本稿では,主流生成モデルに対する連続学習手法の包括的調査を行う。 これらのアプローチをアーキテクチャベース、正規化ベース、リプレイベースという3つのパラダイムに分類する。 我々は、トレーニング目標、ベンチマーク、コアバックボーンを含む、異なる生成モデルに対する連続的な学習設定を分析する。
• 参考スコア（独自算出の注目度）: 35.76314482046672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancement of generative models has enabled modern AI systems to comprehend and produce highly sophisticated content, even achieving human-level performance in specific domains. However, these models remain fundamentally constrained by catastrophic forgetting - a persistent challenge where adapting to new tasks typically leads to significant degradation in performance on previously learned tasks. To address this practical limitation, numerous approaches have been proposed to enhance the adaptability and scalability of generative models in real-world applications. In this work, we present a comprehensive survey of continual learning methods for mainstream generative models, including large language models, multimodal large language models, vision language action models, and diffusion models. Drawing inspiration from the memory mechanisms of the human brain, we systematically categorize these approaches into three paradigms: architecture-based, regularization-based, and replay-based methods, while elucidating their underlying methodologies and motivations. We further analyze continual learning setups for different generative models, including training objectives, benchmarks, and core backbones, offering deeper insights into the field. The project page of this paper is available at https://github.com/Ghy0501/Awesome-Continual-Learning-in-Generative-Models.
• Abstract（参考訳）: 生成モデルの急速な進歩により、現代のAIシステムは、特定のドメインにおける人間レベルのパフォーマンスを達成しながら、高度に洗練されたコンテンツを理解し、生成することが可能になった。 しかし、これらのモデルが基本的には破滅的な忘れ込みによって制約される - 新しいタスクへの適応が通常、以前に学んだタスクのパフォーマンスを著しく低下させるという、永続的な課題である。 この現実的な制限に対処するため、現実のアプリケーションにおける生成モデルの適応性と拡張性を高めるために、多くのアプローチが提案されている。 本研究では,大規模言語モデル,多モーダル大言語モデル,視覚言語行動モデル,拡散モデルなど,主流生成モデルの連続学習手法に関する総合的な調査を行う。 人間の脳の記憶機構からインスピレーションを得て、これらのアプローチをアーキテクチャベース、正規化ベース、リプレイベースの3つのパラダイムに体系的に分類し、基礎となる方法論とモチベーションを解明する。 さらに、トレーニング目標、ベンチマーク、コアバックボーンなど、さまざまな生成モデルに対する継続的な学習設定を分析し、フィールドに関する深い洞察を提供する。 この論文のプロジェクトページはhttps://github.com/Ghy0501/Awesome-Continual-Learning-in-Generative-Modelsで公開されている。

関連論文リスト

• From Task-Specific Models to Unified Systems: A Review of Model Merging Approaches [13.778158813149833]
  本稿では、モデルマージ手法の新たな分類法を確立し、異なるアプローチを体系的に比較し、重要な展開の概要を提供する。 この分野での急速な進歩にもかかわらず、最近の進歩と今後の方向性を予測する包括的な分類学と調査はいまだに欠落している。
  論文  参考訳（メタデータ） (2025-03-12T02:17:31Z)
• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• Deep Generative Models in Robotics: A Survey on Learning from Multimodal Demonstrations [52.11801730860999]
  近年、ロボット学習コミュニティは、大規模なデータセットの複雑さを捉えるために、深層生成モデルを使うことへの関心が高まっている。 本稿では,エネルギーベースモデル,拡散モデル,アクションバリューマップ,生成的敵ネットワークなど,コミュニティが探求してきたさまざまなモデルについて述べる。 また,情報生成から軌道生成,コスト学習に至るまで,深層生成モデルを用いた様々なアプリケーションについて述べる。
  論文  参考訳（メタデータ） (2024-08-08T11:34:31Z)
• Towards Interpretable Deep Reinforcement Learning Models via Inverse Reinforcement Learning [27.841725567976315]
  本稿では,逆逆強化学習を利用した新しいフレームワークを提案する。 このフレームワークは、強化学習モデルによる決定のグローバルな説明を提供する。 モデルの意思決定過程を要約することで、モデルが従う直感的な傾向を捉える。
  論文  参考訳（メタデータ） (2022-03-30T17:01:59Z)
• Deep Model-Based Reinforcement Learning for High-Dimensional Problems, a Survey [1.2031796234206134]
  モデルに基づく強化学習は、環境サンプルの必要性を減らすために、環境力学の明示的なモデルを生成する。 深層モデルに基づく手法の課題は、低いサンプルの複雑さを維持しながら高い予測力を達成することである。 本稿では, 与えられた遷移を明示的に計画すること, 学習した遷移を明示的に計画すること, 計画と遷移の両方をエンドツーエンドで学習することの3つのアプローチに基づく分類法を提案する。
  論文  参考訳（メタデータ） (2020-08-11T08:49:04Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。