Fugu-MT 論文翻訳(概要): Realistic Continual Learning Approach using Pre-trained Models

論文の概要: Realistic Continual Learning Approach using Pre-trained Models

arxiv url: http://arxiv.org/abs/2404.07729v1
Date: Thu, 11 Apr 2024 13:19:46 GMT
ステータス: 処理完了
システム内更新日: 2024-04-12 13:59:46.696991
Title: Realistic Continual Learning Approach using Pre-trained Models
Title（参考訳）: 事前学習モデルを用いた現実的連続学習手法
Authors: Nadia Nasri, Carlos Gutiérrez-Álvarez, Sergio Lafuente-Arroyo, Saturnino Maldonado-Bascón, Roberto J. López-Sastre,
Abstract要約: 本稿では,タスク間のクラス分布がランダムな新しいCLパラダイムであるRealistic Continual Learning(RealCL)を紹介する。 CLARE(Continual Learning Approach with pRE-trained model for RealCL scenarios)も提案する。
参考スコア（独自算出の注目度）: 1.2582887633807602
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Continual learning (CL) is crucial for evaluating adaptability in learning solutions to retain knowledge. Our research addresses the challenge of catastrophic forgetting, where models lose proficiency in previously learned tasks as they acquire new ones. While numerous solutions have been proposed, existing experimental setups often rely on idealized class-incremental learning scenarios. We introduce Realistic Continual Learning (RealCL), a novel CL paradigm where class distributions across tasks are random, departing from structured setups. We also present CLARE (Continual Learning Approach with pRE-trained models for RealCL scenarios), a pre-trained model-based solution designed to integrate new knowledge while preserving past learning. Our contributions include pioneering RealCL as a generalization of traditional CL setups, proposing CLARE as an adaptable approach for RealCL tasks, and conducting extensive experiments demonstrating its effectiveness across various RealCL scenarios. Notably, CLARE outperforms existing models on RealCL benchmarks, highlighting its versatility and robustness in unpredictable learning environments.
Abstract（参考訳）: 継続的な学習(CL)は、知識を維持するための学習ソリューションの適応性を評価するために不可欠である。我々の研究は、モデルが学習したタスクの習熟度を減らし、新しいタスクを取得するという破滅的な忘れ込みの課題に対処する。多くのソリューションが提案されているが、既存の実験的なセットアップは、しばしば理想化されたクラス増分学習シナリオに依存している。本稿では,タスク間のクラス分布がランダムな新しいCLパラダイムであるRealistic Continual Learning(RealCL)を紹介する。 CLARE(Continual Learning Approach with pRE-trained model for RealCL scenarios)も提案する。コントリビューションには、従来のCLセットアップの一般化としてのRealCLの先駆者、RealCLタスクの適応的なアプローチとしてのCLAREの提案、さまざまなRealCLシナリオにおけるその有効性を示す広範な実験などが含まれます。特に、CLAREはRealCLベンチマークの既存モデルよりも優れており、予測不可能な学習環境におけるその汎用性と堅牢性を強調している。

関連論文リスト

Continual Learning Should Move Beyond Incremental Classification [51.23416308775444]
連続学習(Continuous Learning, CL)は、動的環境における知識の蓄積に関わる機械学習のサブフィールドである。ここでは、このような焦点を維持することは、CL法の理論的発展と実践的適用性の両方を制限すると論じる。 C1) 学習課題における連続性の性質,(C2) 類似性を測定するための適切な空間とメトリクスの選択,(C3) 学習目標が分類を超えた役割である。
論文参考訳（メタデータ） (2025-02-17T15:40:13Z)
Position: Continual Learning Benefits from An Evolving Population over An Unified Model [4.348086726793516]
本研究では,新しいPCLフレームワークを提案する。 PCLは、ニューラルネットワークアーキテクチャの集団を維持し、進化させることで、継続的学習をアーキテクチャレベルまで拡張する。 PCLは、統一モデルを用いた最先端のリハーサルのないCLメソッドよりも優れている。
論文参考訳（メタデータ） (2025-02-10T07:21:44Z)
Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
論文参考訳（メタデータ） (2024-11-18T08:20:21Z)
ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
論文参考訳（メタデータ） (2024-10-01T12:58:37Z)
A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文参考訳（メタデータ） (2024-03-20T02:21:44Z)
Density Distribution-based Learning Framework for Addressing Online Continual Learning Challenges [4.715630709185073]
オンライン連続学習のための密度分布に基づく学習フレームワークを提案する。我々のフレームワークは、より優れた平均精度と時間空間効率を実現する。提案手法は, CL のアプローチにおいて, 有意な差で優れる。
論文参考訳（メタデータ） (2023-11-22T09:21:28Z)
From MNIST to ImageNet and Back: Benchmarking Continual Curriculum Learning [9.104068727716294]
継続学習(CL)は、機械学習研究で最も有望なトレンドの1つである。 6つの画像データセットから複数の異種タスクを含む2つの新しいCLベンチマークを導入する。さらに、タスクが複雑化と減少の順序で表されるように、ベンチマークを構造化します。
論文参考訳（メタデータ） (2023-03-16T18:11:19Z)
Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
計算コストに関して,現在の継続学習(CL)手法を評価した。簡単なベースラインは、この評価の下で最先端のCL法より優れている。これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
論文参考訳（メタデータ） (2023-02-02T12:21:10Z)
CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文参考訳（メタデータ） (2023-02-02T04:27:54Z)
Continual Learning with Gated Incremental Memories for sequential data processing [14.657656286730736]
従来の知識を忘れずに動的で非定常的な環境で学習する能力、あるいは継続学習(CL)は、適応型ソリューションのスケーラブルで信頼性の高いデプロイを可能にする重要な手段である。本研究では,従来の知識を忘れることなく,入力分布における概念ドリフトに対処できるCLのためのリカレントニューラルネットワーク(RNN)モデルを提案する。
論文参考訳（メタデータ） (2020-04-08T16:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。