Fugu-MT 論文翻訳(概要): Continual learning with task specialist

論文の概要: Continual learning with task specialist

arxiv url: http://arxiv.org/abs/2409.17806v1
Date: Thu, 26 Sep 2024 12:59:09 GMT
ステータス: 処理完了
システム内更新日: 2024-09-28 19:42:02.038467
Title: Continual learning with task specialist
Title（参考訳）: タスクスペシャリストによる継続的な学習
Authors: Indu Solomon, Aye Phyu Phyu Aung, Uttam Kumar, Senthilnath Jayavelu,
Abstract要約: 破滅的な忘れと限定されたラベル付きデータの問題に対処するために,タスクスペシャリストによる連続学習(CLTS)を提案する。モデルはタスクスペシャリスト(T S)とタスク予測器(T P)と、事前訓練された安定拡散(SD)モジュールで構成される。 3つの実世界のデータセットで行った4つのSOTAモデルとの比較研究により、提案モデルが選択されたベースラインすべてより優れていることが示された。
参考スコア（独自算出の注目度）: 2.8830182365988923
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual learning (CL) adapt the deep learning scenarios with timely updated datasets. However, existing CL models suffer from the catastrophic forgetting issue, where new knowledge replaces past learning. In this paper, we propose Continual Learning with Task Specialists (CLTS) to address the issues of catastrophic forgetting and limited labelled data in real-world datasets by performing class incremental learning of the incoming stream of data. The model consists of Task Specialists (T S) and Task Predictor (T P ) with pre-trained Stable Diffusion (SD) module. Here, we introduce a new specialist to handle a new task sequence and each T S has three blocks; i) a variational autoencoder (V AE) to learn the task distribution in a low dimensional latent space, ii) a K-Means block to perform data clustering and iii) Bootstrapping Language-Image Pre-training (BLIP ) model to generate a small batch of captions from the input data. These captions are fed as input to the pre-trained stable diffusion model (SD) for the generation of task samples. The proposed model does not store any task samples for replay, instead uses generated samples from SD to train the T P module. A comparison study with four SOTA models conducted on three real-world datasets shows that the proposed model outperforms all the selected baselines
Abstract（参考訳）: 継続的学習(CL)は、タイムリーに更新されたデータセットでディープラーニングシナリオに適応する。しかし、既存のCLモデルは、過去の学習を新しい知識が置き換える、破滅的な忘れの問題に悩まされている。本稿では,タスクスペシャリストによる連続学習(Continuous Learning with Task Specialists, CLTS)を提案する。モデルはタスクスペシャリスト(T S)とタスク予測器(T P )と、事前訓練された安定拡散(SD)モジュールで構成される。ここでは、新しいタスクシーケンスを扱うための新しいスペシャリストを紹介し、各T Sには3つのブロックがある。一低次元潜在空間におけるタスク分布を学習するための変分オートエンコーダ(VAE) 二データクラスタリングを行うためのK平均ブロック三言語画像事前学習(BLIP)モデルを用いて、入力データから少量のキャプションを生成すること。これらのキャプションは、タスクサンプルの生成のための事前訓練された安定拡散モデル(SD)への入力として供給される。提案したモデルは、リプレイ用のタスクサンプルを格納せず、代わりに、SDから生成されたサンプルを使用してT Pモジュールをトレーニングする。 3つの実世界のデータセットで実施された4つのSOTAモデルとの比較研究により、提案モデルが選択されたベースラインすべてより優れていることが示された。

関連論文リスト

U-TELL: Unsupervised Task Expert Lifelong Learning [2.8830182365988923]
連続学習(CL)モデルは、ネットワークを再訓練することなく、連続的に到着するタスクを学習するように設計されている。本研究では,教師なしタスクエキスパート生涯学習(Unsupervised Task Expert Lifelong Learning, U-TELL)と呼ばれるタスクエキスパートによる教師なしCLモデルを提案する。 U-TELLは7つのベンチマークと、最高のパフォーマンスベースラインの6倍以上のトレーニング時間で、さまざまなCLシナリオの1つの業界データセットで、すべてのベースラインをパフォーマンスした。
論文参考訳（メタデータ） (2024-05-23T14:31:53Z)
MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
論文参考訳（メタデータ） (2024-03-20T09:17:22Z)
Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文参考訳（メタデータ） (2023-11-23T15:46:54Z)
Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文参考訳（メタデータ） (2023-05-29T05:20:38Z)
Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
論文参考訳（メタデータ） (2023-03-20T15:10:41Z)
Preventing Zero-Shot Transfer Degradation in Continual Learning of Vision-Language Models [13.340759455910721]
本稿では,視覚言語モデルの連続学習におけるゼロショット転送劣化を防止する新しい手法を提案する。本手法は,従来のクラス増分学習環境において,他の手法よりも優れている。
論文参考訳（メタデータ） (2023-03-12T10:28:07Z)
Preventing Catastrophic Forgetting in Continual Learning of New Natural Language Tasks [17.879087904904935]
マルチタスク学習(MTL)は、自然言語処理において、1つのモデルで複数の関連するタスクを学習するための標準技術として広く受け入れられている。通常、システムは時間とともに進化するので、既存のMTLモデルに新しいタスクを追加するには、通常、すべてのタスクをスクラッチから再トレーニングする必要があります。本稿では、n+1タスクを解くための新しいタスクに、既に訓練済みのnタスクに関するモデルの知識を蒸留することにより、MTLモデルの能力を漸進的に拡張し、新しいタスクを時間とともに解決する問題にアプローチする。
論文参考訳（メタデータ） (2023-02-22T00:18:25Z)
Task Residual for Tuning Vision-Language Models [69.22958802711017]
タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
論文参考訳（メタデータ） (2022-11-18T15:09:03Z)
Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文参考訳（メタデータ） (2022-03-31T13:46:41Z)
Adversarial Training of Variational Auto-encoders for Continual Zero-shot Learning [1.90365714903665]
本稿では,全タスクの情報を保持する共有VAEモジュールとタスク固有のプライベートVAEモジュールで構成されるハイブリッドネットワークを提案する。モデルのサイズは各タスクで増加し、タスク固有のスキルの破滅的な忘れを防止する。 ZSL (Zero-Shot Learning) と GZSL (Generalized Zero-Shot Learning) による逐次学習よりも優れていることを示す。
論文参考訳（メタデータ） (2021-02-07T11:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。