論文の概要: TAME: Task Agnostic Continual Learning using Multiple Experts
- arxiv url: http://arxiv.org/abs/2210.03869v1
- Date: Sat, 8 Oct 2022 01:23:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 15:15:33.897072
- Title: TAME: Task Agnostic Continual Learning using Multiple Experts
- Title（参考訳）: TAME: 複数のエキスパートによるタスク非依存連続学習
- Authors: Haoran Zhu and Maryam Majzoubi and Arihant Jain and Anna Choromanska
- Abstract要約: 本稿では,タスクの同一性が分かっておらず,学習機械が観察からそれらを推測する必要がある,いわゆるタスク非依存の設定に焦点を当てる。
我々はTAME(Task-Agnostic continual learning using Multiple Experts)と呼ぶアルゴリズムを用いて,タスクエキスパートネットワーク間のデータ分散と切り替えを自動的にオンラインに検出する。
実験の結果,提案手法が連続学習データセットのベンチマークに有効であること,従来のタスク非依存手法よりも優れていること,さらにはトレーニングとテストの両方においてタスクの同一性を認める技術が示された。
- 参考スコア（独自算出の注目度）: 11.797001051680017
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The goal of lifelong learning is to continuously learn from non-stationary
distributions, where the non-stationarity is typically imposed by a sequence of
distinct tasks. Prior works have mostly considered idealistic settings, where
the identity of tasks is known at least at training. In this paper we focus on
a fundamentally harder, so-called task-agnostic setting where the task
identities are not known and the learning machine needs to infer them from the
observations. Our algorithm, which we call TAME (Task-Agnostic continual
learning using Multiple Experts), automatically detects the shift in data
distributions and switches between task expert networks in an online manner. At
training, the strategy for switching between tasks hinges on an extremely
simple observation that for each new coming task there occurs a
statistically-significant deviation in the value of the loss function that
marks the onset of this new task. At inference, the switching between experts
is governed by the selector network that forwards the test sample to its
relevant expert network. The selector network is trained on a small subset of
data drawn uniformly at random. We control the growth of the task expert
networks as well as selector network by employing online pruning. Our
experimental results show the efficacy of our approach on benchmark continual
learning data sets, outperforming the previous task-agnostic methods and even
the techniques that admit task identities at both training and testing, while
at the same time using a comparable model size.
- Abstract（参考訳）: 生涯学習の目標は、非定常分布から連続的に学習することであり、非定常性は典型的に異なる一連のタスクによって課される。
先行研究は主に理想主義的な設定と考えられており、タスクのアイデンティティは少なくともトレーニングで知られている。
本稿では,タスクの同一性が分かっておらず,学習機械が観察からそれらを推測する必要がある,いわゆるタスク非依存の設定に着目する。
我々はTAME(Task-Agnostic continual learning using Multiple Experts)と呼ぶアルゴリズムを用いて,タスクエキスパートネットワーク間のデータ分散と切り替えを自動的にオンラインに検出する。
トレーニングにおいて、タスク間の切り替え戦略は、非常に単純な観察に基づいており、新しいタスク毎に、この新しいタスクの開始を示す損失関数の値に統計的に重要なずれが生じている。
推論では、専門家間の切り替えは、テストサンプルを関連する専門家ネットワークに転送するセレクタネットワークによって制御される。
セレクタネットワークはランダムにランダムに描画されるデータの小さなサブセットで訓練される。
我々は,タスクエキスパートネットワークとセレクタネットワークの成長をオンラインプルーニングを用いて制御する。
実験の結果,本手法が連続学習データセットのベンチマークに有効であることを示し,従来のタスク非依存手法よりも優れており,トレーニングとテストの両方においてタスクの同一性を認める手法も同等のモデルサイズで採用していることが示された。
関連論文リスト
- Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳（メタデータ） (2023-11-30T22:43:50Z) - Active Instruction Tuning: Improving Cross-Task Generalization by
Training on Prompt Sensitive Tasks [101.40633115037983]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。
ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。
本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
論文 参考訳（メタデータ） (2023-11-01T04:40:05Z) - Multitask Learning with No Regret: from Improved Confidence Bounds to
Active Learning [79.07658065326592]
推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。
タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。
本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-03T13:08:09Z) - Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳（メタデータ） (2023-07-13T16:39:08Z) - Pre-training Multi-task Contrastive Learning Models for Scientific
Literature Understanding [52.723297744257536]
事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。
文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
論文 参考訳（メタデータ） (2023-05-23T16:47:22Z) - Online Continual Learning via the Knowledge Invariant and Spread-out
Properties [4.109784267309124]
継続的な学習の鍵となる課題は破滅的な忘れ方だ。
知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。
提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
論文 参考訳（メタデータ） (2023-02-02T04:03:38Z) - Selecting task with optimal transport self-supervised learning for
few-shot classification [15.088213168796772]
Few-Shot分類は、トレーニングプロセスで利用可能なサンプルはわずかである、という問題を解決することを目的としている。
本稿では,Few-Shot 学習のための類似タスクを選択して学習セットを構築するために,OTTS (Optimal Transport Task Selecting) という新しいタスク選択アルゴリズムを提案する。
OTTSは最適な輸送距離を計算してタスク類似度を測定し、自己監督戦略を通じてモデルトレーニングを完了させる。
論文 参考訳（メタデータ） (2022-04-01T08:45:29Z) - Distribution Matching for Heterogeneous Multi-Task Learning: a
Large-scale Face Study [75.42182503265056]
マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。
我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。
大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
論文 参考訳（メタデータ） (2021-05-08T22:26:52Z) - Self-Attention Meta-Learner for Continual Learning [5.979373021392084]
SAM(Self-Attention Meta-Learner)は,タスクのシーケンスを学習する継続的学習の事前知識を学習する。
SAMには、将来のタスクごとに特定の関連する表現を選択することを学ぶアテンションメカニズムが組み込まれている。
タスク推論において,提案手法を Split CIFAR-10/100 と Split MNIST のベンチマークで評価した。
論文 参考訳（メタデータ） (2021-01-28T17:35:04Z) - Expert Training: Task Hardness Aware Meta-Learning for Few-Shot
Classification [62.10696018098057]
そこで本研究では,訓練課題を適切に整理するためのメタトレーニング戦略を提案する。
タスクの難易度を推定する訓練手順にタスク難易度認識モジュールを設計して統合する。
miniImageNet と tieredImageNetSketch のデータセットによる実験結果から,メタラーナーは専門家のトレーニング戦略によりより良い結果が得られることが示された。
論文 参考訳（メタデータ） (2020-07-13T08:49:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。