Fugu-MT 論文翻訳(概要): U-TELL: Unsupervised Task Expert Lifelong Learning

論文の概要: U-TELL: Unsupervised Task Expert Lifelong Learning

arxiv url: http://arxiv.org/abs/2405.14623v1
Date: Thu, 23 May 2024 14:31:53 GMT
ステータス: 処理完了
システム内更新日: 2024-05-24 14:35:49.643038
Title: U-TELL: Unsupervised Task Expert Lifelong Learning
Title（参考訳）: U-TELL:教師なしタスクエキスパートの生涯学習
Authors: Indu Solomon, Aye Phyu Phyu Aung, Uttam Kumar, Senthilnath Jayavelu,
Abstract要約: 連続学習(CL)モデルは、ネットワークを再訓練することなく、連続的に到着するタスクを学習するように設計されている。本研究では,教師なしタスクエキスパート生涯学習(Unsupervised Task Expert Lifelong Learning, U-TELL)と呼ばれるタスクエキスパートによる教師なしCLモデルを提案する。 U-TELLは7つのベンチマークと、最高のパフォーマンスベースラインの6倍以上のトレーニング時間で、さまざまなCLシナリオの1つの業界データセットで、すべてのベースラインをパフォーマンスした。
参考スコア（独自算出の注目度）: 2.8830182365988923
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual learning (CL) models are designed to learn new tasks arriving sequentially without re-training the network. However, real-world ML applications have very limited label information and these models suffer from catastrophic forgetting. To address these issues, we propose an unsupervised CL model with task experts called Unsupervised Task Expert Lifelong Learning (U-TELL) to continually learn the data arriving in a sequence addressing catastrophic forgetting. During training of U-TELL, we introduce a new expert on arrival of a new task. Our proposed architecture has task experts, a structured data generator and a task assigner. Each task expert is composed of 3 blocks; i) a variational autoencoder to capture the task distribution and perform data abstraction, ii) a k-means clustering module, and iii) a structure extractor to preserve latent task data signature. During testing, task assigner selects a suitable expert to perform clustering. U-TELL does not store or replay task samples, instead, we use generated structured samples to train the task assigner. We compared U-TELL with five SOTA unsupervised CL methods. U-TELL outperformed all baselines on seven benchmarks and one industry dataset for various CL scenarios with a training time over 6 times faster than the best performing baseline.
Abstract（参考訳）: 連続学習(CL)モデルは、ネットワークを再訓練することなく、連続的に到着するタスクを学習するように設計されている。しかし、実世界のMLアプリケーションはラベル情報が非常に限られており、これらのモデルは破滅的な忘れ物に悩まされている。これらの問題に対処するために,教師なしタスクエキスパート生涯学習(Unsupervised Task Expert Lifelong Learning, U-TELL)と呼ばれるタスクエキスパートによる教師なしCLモデルを提案する。 U-TELLの訓練中、我々は新しいタスクの到着について新しい専門家を紹介する。提案アーキテクチャは,タスクエキスパート,構造化データジェネレータ,タスクアサインラを備える。各タスクエキスパートは3ブロックで構成されています。一タスク分布を捉えてデータの抽象化を行う変分オートエンコーダ二 k平均クラスタリングモジュール及び三潜在タスクデータ署名を保持する構造抽出器テスト中、タスクアサインラはクラスタリングを行うのに適した専門家を選択する。 U-TELLはタスクサンプルを格納したり再生したりせず、代わりに生成された構造化サンプルを使用してタスクアサインラをトレーニングします。我々は,U-TELLを5つの教師なしCL法と比較した。 U-TELLは7つのベンチマークと、最高のパフォーマンスベースラインの6倍以上のトレーニング時間で、さまざまなCLシナリオの1つの業界データセットで、すべてのベースラインをパフォーマンスした。

関連論文リスト

From Instance Training to Instruction Learning: Task Adapters Generation from Instructions [29.452006810725184]
本稿では,事例学習の欠点に対処するために,人間の学習をシミュレートすることに焦点を当てる。タスク固有のモデルを自動的に構築するTAGI(Task Adapters from Instructions)を導入する。超自然的インストラクションとP3データセットを用いたTAGIの評価を行った。
論文参考訳（メタデータ） (2024-06-18T08:14:28Z)
Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文参考訳（メタデータ） (2024-01-07T18:12:20Z)
Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。 PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
論文参考訳（メタデータ） (2023-10-16T13:59:56Z)
Knowledge Assembly: Semi-Supervised Multi-Task Learning from Multiple Datasets with Disjoint Labels [8.816979799419107]
マルチタスク学習(MTL)は適切な手法であるが、通常はすべてのタスクにラベル付けされたデータセットを必要とする。 MTLフレームワークのタスクのいくつかのみにラベル付けされたデータセットを活用できる手法を提案する。我々の研究であるKnowledge Assembly(KA)は、ラベルのないデータを半教師付きで活用することで、不連続なデータセットから複数のタスクを学習する。
論文参考訳（メタデータ） (2023-06-15T04:05:03Z)
Task Residual for Tuning Vision-Language Models [69.22958802711017]
タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
論文参考訳（メタデータ） (2022-11-18T15:09:03Z)
A Multi-Head Model for Continual Learning via Out-of-Distribution Replay [16.189891444511755]
連続学習(CL)における破滅的忘れ(CF)に対する多くのアプローチが提案されている。本稿では,MOREと呼ばれるトランスフォーマーネットワークを用いて,タスク毎に個別の分類器(頭部)を構築する手法を提案する。
論文参考訳（メタデータ） (2022-08-20T19:17:12Z)
Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文参考訳（メタデータ） (2022-05-25T10:44:25Z)
Continual Object Detection via Prototypical Task Correlation Guided Gating Mechanism [120.1998866178014]
pRotOtypeal taSk corrElaTion guided gaTingAnism (ROSETTA)による連続物体検出のためのフレキシブルなフレームワークを提案する。具体的には、統一されたフレームワークはすべてのタスクで共有され、タスク対応ゲートは特定のタスクのサブモデルを自動的に選択するために導入されます。 COCO-VOC、KITTI-Kitchen、VOCのクラスインクリメンタル検出、および4つのタスクの逐次学習の実験により、ROSETTAが最先端のパフォーマンスを得ることが示された。
論文参考訳（メタデータ） (2022-05-06T07:31:28Z)
CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文参考訳（メタデータ） (2021-09-10T03:23:06Z)
Generate, Annotate, and Learn: Generative Models Advance Self-Training and Knowledge Distillation [58.64720318755764]
Semi-Supervised Learning (SSL)は多くのアプリケーションドメインで成功している。知識蒸留(KD)により、深層ネットワークとアンサンブルの圧縮が可能となり、新しいタスク固有の未ラベルの例について知識を蒸留する際に最良の結果が得られる。我々は、非条件生成モデルを用いて、ドメイン内の未ラベルデータを合成する「生成、注釈、学習(GAL)」と呼ばれる一般的なフレームワークを提案する。
論文参考訳（メタデータ） (2021-06-11T05:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。