論文の概要: Measuring and Harnessing Transference in Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2010.15413v3
• Date: Fri, 10 Sep 2021 06:55:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 22:01:52.370525
• Title: Measuring and Harnessing Transference in Multi-Task Learning
• Title（参考訳）: マルチタスク学習における伝達の測定とハーネス
• Authors: Christopher Fifty, Ehsan Amid, Zhe Zhao, Tianhe Yu, Rohan Anil, Chelsea Finn
• Abstract要約: マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
• 参考スコア（独自算出の注目度）: 58.48659733262734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning can leverage information learned by one task to benefit the training of other tasks. Despite this capacity, naive formulations often degrade performance and in particular, identifying the tasks that would benefit from co-training remains a challenging design question. In this paper, we analyze the dynamics of information transfer, or transference, across tasks throughout training. Specifically, we develop a similarity measure that can quantify transference among tasks and use this quantity to both better understand the optimization dynamics of multi-task learning as well as improve overall learning performance. In the latter case, we propose two methods to leverage our transference metric. The first operates at a macro-level by selecting which tasks should train together while the second functions at a micro-level by determining how to combine task gradients at each training step. We find these methods can lead to significant improvement over prior work on three supervised multi-task learning benchmarks and one multi-task reinforcement learning paradigm.
• Abstract（参考訳）: マルチタスク学習は、あるタスクが学習した情報を活用し、他のタスクのトレーニングの恩恵を受けることができる。 この能力にもかかわらず、ナイーブな定式化はしばしば性能を低下させ、特にコトレーニングの恩恵を受けるタスクを特定することは難しい設計問題である。 本稿では,情報伝達や伝達のダイナミクスを,学習中におけるタスク間で解析する。 具体的には、タスク間の転移を定量化し、この量を用いてマルチタスク学習の最適化ダイナミクスをより理解し、全体的な学習性能を向上させるための類似性尺度を開発した。 後者の場合、我々は転移計量を利用する2つの方法を提案する。 第1段階はマクロレベルで動作し、第2段階は各トレーニングステップでタスク勾配を組み合わせる方法を決定することで、第2段階はマイクロレベルでトレーニングするべきタスクを選択する。 これらの手法は、3つの教師付きマルチタスク学習ベンチマークと1つのマルチタスク強化学習パラダイムにおける先行研究よりも大幅に改善される可能性がある。

関連論文リスト

• Multitask Learning with No Regret: from Improved Confidence Bounds to Active Learning [79.07658065326592]
  推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。 タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。 本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-03T13:08:09Z)
• Efficient Multi-Task and Transfer Reinforcement Learning with Parameter-Compositional Framework [44.43196786555784]
  強化学習環境におけるマルチタスク学習の改善と伝達に活用する可能性について検討する。 本稿ではパラメータ合成式を用いた転送手法を提案する。 実験により,提案手法はマルチタスク学習段階における性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-06-02T18:00:33Z)
• Leveraging convergence behavior to balance conflicting tasks in multi-task learning [3.6212652499950138]
  マルチタスク学習は、パフォーマンスの一般化を改善するために相関タスクを使用する。 タスクは互いに衝突することが多いため、複数のタスクの勾配をどのように組み合わせるべきかを定義するのは難しい。 バックプロパゲーション中の各タスクの重要度を調整する動的バイアスを生成するために,勾配の時間的挙動を考慮した手法を提案する。
  論文  参考訳（メタデータ） (2022-04-14T01:52:34Z)
• A Survey of Multi-task Learning in Natural Language Processing: Regarding Task Relatedness and Training Methods [17.094426577723507]
  自然言語処理(NLP)において,マルチタスク学習(MTL)がますます普及している。 共通点と相違点を活用することで、関連するタスクのパフォーマンスを向上させる。 トレーニングタスクの関連性に基づいてマルチタスク学習をどのように実装できるかは、まだよく理解されていない。
  論文  参考訳（メタデータ） (2022-04-07T15:22:19Z)
• Transfer Learning in Conversational Analysis through Reusing Preprocessing Data as Supervisors [52.37504333689262]
  単一タスク学習におけるノイズの多いラベルの使用は、過度に適合するリスクを増大させる。 補助的なタスクは、同じトレーニング中に一次タスク学習のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2021-12-02T08:40:42Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。 本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
  論文  参考訳（メタデータ） (2021-09-10T02:01:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。