Fugu-MT 論文翻訳(概要): AdaTask: Adaptive Multitask Online Learning

論文の概要: AdaTask: Adaptive Multitask Online Learning

arxiv url: http://arxiv.org/abs/2205.15802v1
Date: Tue, 31 May 2022 14:04:38 GMT
ステータス: 処理完了
システム内更新日: 2022-06-01 14:50:29.401734
Title: AdaTask: Adaptive Multitask Online Learning
Title（参考訳）: AdaTask: 適応型マルチタスクオンライン学習
Authors: Pierre Laforgue, Andrea Della Vecchia, Nicol\`o Cesa-Bianchi, Lorenzo Rosasco
Abstract要約: AdaTaskはタスクの未知の構造に適応するマルチタスクオンライン学習アルゴリズムである。 AdaTaskの後悔は、$N$の独立アルゴリズムを実行することで達成された後悔よりも、$sqrtN$と同じくらいの大きさの要因によって改善されていることを示す。
参考スコア（独自算出の注目度）: 20.214088331382424
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce and analyze AdaTask, a multitask online learning algorithm that adapts to the unknown structure of the tasks. When the $N$ tasks are stochastically activated, we show that the regret of AdaTask is better, by a factor that can be as large as $\sqrt{N}$, than the regret achieved by running $N$ independent algorithms, one for each task. AdaTask can be seen as a comparator-adaptive version of Follow-the-Regularized-Leader with a Mahalanobis norm potential. Through a variational formulation of this potential, our analysis reveals how AdaTask jointly learns the tasks and their structure. Experiments supporting our findings are presented.
Abstract（参考訳）: 我々は,タスクの未知構造に適応するマルチタスクオンライン学習アルゴリズムadataskを紹介し,解析する。 N$タスクが確率的にアクティベートされると、AdaTaskの後悔は、$\sqrt{N}$と同じ大きさの要因によって、各タスクに対して1つの独立したアルゴリズムを実行することで達成される後悔よりも、よいことが示されます。 adataskは、マハラノビスノルムポテンシャルを持つフォロー・ザ・レギュラライズド・リーダーのコンパレータ適応版と見なすことができる。このポテンシャルの変分定式化を通じて,AdaTaskがタスクとその構造を共同で学習する方法を明らかにする。以上の知見を裏付ける実験を行った。

関連論文リスト

Cross-Task Affinity Learning for Multitask Dense Scene Predictions [5.939164722752263]
マルチタスク学習(MTL)は,複数のタスクを同時に予測する能力で注目されている。マルチタスクネットワークにおけるタスク改善を強化する軽量フレームワークであるクロスタスク親和性学習(CTAL)モジュールを紹介する。以上の結果から,CNNとトランスフォーマーの両バックボーンに対して,シングルタスク学習よりもはるかに少ないパラメータを用いて,最先端のMTL性能を実証した。
論文参考訳（メタデータ） (2024-01-20T05:31:47Z)
Multitask Learning with No Regret: from Improved Confidence Bounds to Active Learning [79.07658065326592]
推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-08-03T13:08:09Z)
TaskWeb: Selecting Better Source Tasks for Multi-task NLP [76.03221609799931]
ペアワイズタスク転送によるタスク関係の認識は、新しいターゲットタスクの学習に役立つ1つ以上のソースタスクの選択を改善する。私たちはTaskWebを使って、新しいターゲットタスクの学習にソースタスクを使うことの利点を推定し、マルチタスクトレーニングに有用なトレーニングタスクのサブセットを選択する。本手法は,ソースタスクの総合ランキングとトップk精度をそれぞれ10%,トップk精度を38%向上させる。
論文参考訳（メタデータ） (2023-05-22T17:27:57Z)
$\pi$-Tuning: Transferring Multimodal Foundation Models with Optimal Multi-task Interpolation [30.551283402200657]
$pi$-Tuningは、視覚、言語、視覚言語タスクのための普遍的なパラメータ効率の伝達学習手法である。ターゲットの下流タスクを支援するために、同様のタスクから学んだ軽量なタスク固有の専門家のパラメータを集約する。
論文参考訳（メタデータ） (2023-04-27T17:49:54Z)
Robust Subtask Learning for Compositional Generalization [20.54144051436337]
我々は、どんなタスクでも実行できるように、サブタスクポリシーをトレーニングする問題に焦点を合わせます。我々は、平均的なケースのパフォーマンスとは対照的に、すべてのタスクで最悪のケースのパフォーマンスを最大化することを目指している。
論文参考訳（メタデータ） (2023-02-06T18:19:25Z)
Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文参考訳（メタデータ） (2022-10-12T15:02:04Z)
DiSparse: Disentangled Sparsification for Multitask Model Compression [92.84435347164435]
DiSparseは、シンプルで効果的で、第一級のマルチタスクプルーニングとスパーストレーニングスキームである。実験の結果,様々な設定や設定において優れた性能を示した。
論文参考訳（メタデータ） (2022-06-09T17:57:46Z)
On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
マルチタスク学習の研究はコミュニティから大きな注目を集めている。目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
論文参考訳（メタデータ） (2022-03-06T11:57:18Z)
Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
論文参考訳（メタデータ） (2021-09-10T02:01:43Z)
Knowledge Distillation for Multi-task Learning [38.20005345733544]
マルチタスク学習(MTL)は、全てのタスクで優れたパフォーマンスを達成し、計算コストを下げるための複数のタスクを実行する単一のモデルを学習することである。そのようなモデルを学ぶには、難易度、大きさ、特性の異なる一連のタスクの損失を共同で最適化する必要がある。本研究では,マルチタスク学習における不均衡問題に対処するために,知識蒸留に基づく手法を提案する。
論文参考訳（メタデータ） (2020-07-14T08:02:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。