論文の概要: Optimal Task Order for Continual Learning of Multiple Tasks
- arxiv url: http://arxiv.org/abs/2502.03350v1
- Date: Wed, 05 Feb 2025 16:43:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-06 14:28:48.663448
- Title: Optimal Task Order for Continual Learning of Multiple Tasks
- Title（参考訳）: 複数タスクの連続学習のための最適タスク順序
- Authors: Ziyan Li, Naoki Hiratani,
- Abstract要約: 複数のタスクの継続的な学習は、ニューラルネットワークにとって依然として大きな課題である。
本稿では,タスク順序が連続学習にどのように影響するかを考察し,その最適化戦略を提案する。
そこで本研究では,タスク増分連続学習におけるタスク順最適化のための一般化可能なフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 3.591122855617648
- License:
- Abstract: Continual learning of multiple tasks remains a major challenge for neural networks. Here, we investigate how task order influences continual learning and propose a strategy for optimizing it. Leveraging a linear teacher-student model with latent factors, we derive an analytical expression relating task similarity and ordering to learning performance. Our analysis reveals two principles that hold under a wide parameter range: (1) tasks should be arranged from the least representative to the most typical, and (2) adjacent tasks should be dissimilar. We validate these rules on both synthetic data and real-world image classification datasets (Fashion-MNIST, CIFAR-10, CIFAR-100), demonstrating consistent performance improvements in both multilayer perceptrons and convolutional neural networks. Our work thus presents a generalizable framework for task-order optimization in task-incremental continual learning.
- Abstract（参考訳）: 複数のタスクの継続的な学習は、ニューラルネットワークにとって依然として大きな課題である。
本稿では,タスク順序が連続学習にどのように影響するかを考察し,その最適化戦略を提案する。
潜在要因を持つ線形教師学生モデルを用いて、タスク類似性や学習性能の順序に関する分析的表現を導出する。
分析の結果,(1) タスクは最も代表的なものから最も典型的なものへ配置されるべきであり,(2) 隣接タスクは異なるべきである,という2つの原則が明らかになった。
合成データと実世界の画像分類データセット(Fashion-MNIST, CIFAR-10, CIFAR-100)でこれらのルールを検証する。
そこで本研究では,タスク増分連続学習におけるタスク順最適化のための一般化可能なフレームワークを提案する。
関連論文リスト
- Giving each task what it needs -- leveraging structured sparsity for tailored multi-task learning [4.462334751640166]
マルチタスク学習(MTL)フレームワークでは、各タスクは、低レベルから高レベルの属性まで、異なる特徴表現を要求する。
この研究は、構造化された空間を利用して個々のタスクの特徴選択を洗練し、マルチタスクシナリオにおける全てのタスクのパフォーマンスを向上させるレイヤdマルチタスクモデルを導入する。
論文 参考訳（メタデータ） (2024-06-05T08:23:38Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳（メタデータ） (2022-05-25T10:44:25Z) - Combining Modular Skills in Multitask Learning [149.8001096811708]
モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。
この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。
ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
論文 参考訳（メタデータ） (2022-02-28T16:07:19Z) - Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。
合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。
次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
論文 参考訳（メタデータ） (2021-09-15T21:19:11Z) - Learning to Relate Depth and Semantics for Unsupervised Domain
Adaptation [87.1188556802942]
教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。
本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。
さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
論文 参考訳（メタデータ） (2021-05-17T13:42:09Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳（メタデータ） (2020-04-28T09:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。