論文の概要: The Future of Continual Learning in the Era of Foundation Models: Three Key Directions
- arxiv url: http://arxiv.org/abs/2506.03320v1
- Date: Tue, 03 Jun 2025 19:06:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 21:20:14.018262
- Title: The Future of Continual Learning in the Era of Foundation Models: Three Key Directions
- Title（参考訳）: ファウンデーションモデルにおける継続的な学習の未来:3つの重要な方向性
- Authors: Jack Bell, Luigi Quarantiello, Eric Nuertey Coleman, Lanpei Li, Malio Li, Mauro Madeddu, Elia Piccoli, Vincenzo Lomonaco,
- Abstract要約: 継続的学習は3つの重要な理由から不可欠である、と我々は主張する。
我々は、連続的な学習の再生を象徴する連続的な構成性について論じている。
AIの未来は、単一の静的モデルではなく、継続的に進化し、相互作用するモデルのエコシステムによって定義される。
- 参考スコア（独自算出の注目度）: 3.805777835466912
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning--the ability to acquire, retain, and refine knowledge over time--has always been fundamental to intelligence, both human and artificial. Historically, different AI paradigms have acknowledged this need, albeit with varying priorities: early expert and production systems focused on incremental knowledge consolidation, while reinforcement learning emphasised dynamic adaptation. With the rise of deep learning, deep continual learning has primarily focused on learning robust and reusable representations over time to solve sequences of increasingly complex tasks. However, the emergence of Large Language Models (LLMs) and foundation models has raised the question: Do we still need continual learning when centralised, monolithic models can tackle diverse tasks with access to internet-scale knowledge? We argue that continual learning remains essential for three key reasons: (i) continual pre-training is still necessary to ensure foundation models remain up to date, mitigating knowledge staleness and distribution shifts while integrating new information; (ii) continual fine-tuning enables models to specialise and personalise, adapting to domain-specific tasks, user preferences, and real-world constraints without full retraining, avoiding the need for computationally expensive long context-windows; (iii) continual compositionality offers a scalable and modular approach to intelligence, enabling the orchestration of foundation models and agents to be dynamically composed, recombined, and adapted. While continual pre-training and fine-tuning are explored as niche research directions, we argue it is continual compositionality that will mark the rebirth of continual learning. The future of AI will not be defined by a single static model but by an ecosystem of continually evolving and interacting models, making continual learning more relevant than ever.
- Abstract（参考訳）: 継続的な学習 — 時間とともに知識を取得し、保持し、洗練する能力 — は、常に人間と人工の両方の知性に基礎を置いている。
初期のエキスパートと生産システムはインクリメンタルな知識の統合に重点を置いており、強化学習は動的適応を強調している。
ディープラーニングの台頭とともに、ディープラーニングは主に、ますます複雑なタスクのシーケンスを解決するために、堅牢で再利用可能な表現を学ぶことに集中してきた。
しかし、LLM(Large Language Models)と基礎モデル(Foundation Model)の出現は、疑問を提起している。
継続的学習は3つの主要な理由において不可欠である、と我々は主張する。
i) 基礎モデルを最新に保ちつつ、新たな情報を統合しつつ、知識の安定と流通のシフトを緩和するためには、継続的な事前訓練が必要である。
(II)連続的な微調整により、ドメイン固有のタスク、ユーザの嗜好、実世界の制約に順応し、計算コストのかかる長期のコンテキストウインドウの必要性を回避し、専門化とパーソナライズが可能となる。
3) 連続的な構成性は、インテリジェンスに対するスケーラブルでモジュラーなアプローチを提供し、ファンデーションモデルとエージェントのオーケストレーションを動的に構成し、再結合し、適応させることができる。
連続的な事前学習と微調整はニッチな研究方向として検討されているが、連続的な学習の再生を示す連続的な構成性は議論されている。
AIの未来は、単一の静的モデルではなく、継続的に進化し、相互作用するモデルのエコシステムによって定義される。
関連論文リスト
- Language Guided Concept Bottleneck Models for Interpretable Continual Learning [62.09201360376577]
継続的な学習は、学習した情報を忘れることなく、学習システムが新しい知識を常に獲得することを目的としている。
既存のCLメソッドのほとんどは、モデルパフォーマンスを改善するための学習知識の保存に重点を置いている。
両課題に対処するために,言語指導型概念ボトルネックモデルを統合する新しいフレームワークを導入する。
論文 参考訳（メタデータ） (2025-03-30T02:41:55Z) - Hierarchical Subspaces of Policies for Continual Offline Reinforcement Learning [19.463863037999054]
我々は,学習エージェントが獲得したスキルセットを維持しながら,新たなタスクに継続的に適応しなければならない継続的強化学習の仕組みを考察する。
オフラインデータからナビゲーション設定を継続学習するために設計された,新しい階層型フレームワークであるHiSPOを紹介する。
本研究では,MuJoCo迷路環境と複雑なゲームライクなナビゲーションシミュレーションの両方において,本手法の有効性を実験的に検証した。
論文 参考訳（メタデータ） (2024-12-19T14:00:03Z) - Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。
Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。
提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
論文 参考訳（メタデータ） (2024-11-11T07:36:19Z) - Composite Learning Units: Generalized Learning Beyond Parameter Updates to Transform LLMs into Adaptive Reasoners [0.0]
連続学習が可能な学習者へ推論器を変換する複合学習ユニット(CLU)を導入する。
CLUは、動的知識リポジトリの保守と進化を可能にするアーキテクチャ上に構築されている。
我々は暗号推論タスクを通じてCLUの有効性を実証し、フィードバックを通じて理解を継続的に進化させ、隠れた変換規則を明らかにする。
論文 参考訳（メタデータ） (2024-10-09T02:27:58Z) - Recall-Oriented Continual Learning with Generative Adversarial
Meta-Model [5.710971447109951]
本稿では,安定性・塑性ジレンマに対処するリコール指向連続学習フレームワークを提案する。
人間の脳が安定性と可塑性のメカニズムを分離する能力に触発されて、私たちのフレームワークは2段階のアーキテクチャで構成されています。
我々は,新たな知識を効果的に学習するだけでなく,従来の知識の安定性も高いことを示す。
論文 参考訳（メタデータ） (2024-03-05T16:08:59Z) - Carpe Diem: On the Evaluation of World Knowledge in Lifelong Language Models [74.81091933317882]
進化するウィキペディアデータベース上でのLMのトレーニングと評価を目的とした,時間的に進化する質問応答ベンチマークであるEvolvingQAを紹介する。
既存の継続的な学習ベースラインが、時代遅れの知識の更新と削除に悩まされていることを明らかにする。
本研究の目的は,実世界の情報の動的性質をモデル化することであり,言語モデルの進化適応性を忠実に評価することである。
論文 参考訳（メタデータ） (2023-11-14T12:12:02Z) - Overcoming Generic Knowledge Loss with Selective Parameter Update [48.240683797965005]
基礎モデルを継続的に更新する新しい手法を提案する。
すべてのパラメータを均等に更新する代わりに、学習しているタスクに関連するパラメータのスパースセットにアップデートをローカライズします。
提案手法は,学習済みのタスクの精度を最大7%向上すると同時に,学習前知識を0.9%減少させることなく,代表制御セットの精度を低下させる。
論文 参考訳（メタデータ） (2023-08-23T22:55:45Z) - A Definition of Continual Reinforcement Learning [69.56273766737527]
強化学習問題の標準的な見方では、エージェントの目標は、長期的な報酬を最大化するポリシーを効率的に識別することである。
継続的強化学習とは、最高のエージェントが決して学習をやめない状態を指す。
エージェントの分析とカタログ化のための新しい数学的言語を通じて「学習をやめることはない」エージェントの概念を定式化する。
論文 参考訳（メタデータ） (2023-07-20T17:28:01Z) - Dynamic Dialogue Policy Transformer for Continual Reinforcement Learning [2.580163308334609]
継続的な学習は人間の学習の鍵となる要素の1つであり、人工知能に必要な要件である。
連続学習モデルを評価するためのトレーニングプロトコル、ベースラインモデル、適切なメトリクスを備えたフレームワークを提供する。
本稿では,新しい知識をシームレスに統合できる新しい動的アーキテクチャである動的対話ポリシートランスフォーマー(DDPT)を提案する。
論文 参考訳（メタデータ） (2022-04-12T16:30:40Z) - Ex-Model: Continual Learning from a Stream of Trained Models [12.27992745065497]
連続的な学習システムは、訓練されたモデルの形式で圧縮された情報の可用性を活用するべきであると論じる。
エージェントが生データの代わりに以前に訓練されたモデルのシーケンスから学習する「Ex-Model Continual Learning」(Ex-Model Continual Learning)という新しいパラダイムを導入し、形式化する。
論文 参考訳（メタデータ） (2021-12-13T09:46:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。