Fugu-MT 論文翻訳(概要): Mitigating Negative Transfer in Multi-Task Learning with Exponential Moving Average Loss Weighting Strategies

論文の概要: Mitigating Negative Transfer in Multi-Task Learning with Exponential Moving Average Loss Weighting Strategies

arxiv url: http://arxiv.org/abs/2211.12999v1
Date: Tue, 22 Nov 2022 09:22:48 GMT
ステータス: 処理完了
システム内更新日: 2022-11-24 15:52:13.788012
Title: Mitigating Negative Transfer in Multi-Task Learning with Exponential Moving Average Loss Weighting Strategies
Title（参考訳）: 指数移動平均損失重み戦略を用いたマルチタスク学習における負の移動の軽減
Authors: Anish Lakkapragada, Essam Sleiman, Saimourya Surabhi, Dennis P. Wall
Abstract要約: MTL(Multi-Task Learning)は、ディープラーニングへの関心が高まっている分野である。特定のタスクがトレーニングを支配し、他のタスクのパフォーマンスを損なう可能性があるため、MTLは実用的ではない。指数移動平均によるスケーリングに基づく損失分散手法を提案する。
参考スコア（独自算出の注目度）: 0.981328290471248
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multi-Task Learning (MTL) is a growing subject of interest in deep learning, due to its ability to train models more efficiently on multiple tasks compared to using a group of conventional single-task models. However, MTL can be impractical as certain tasks can dominate training and hurt performance in others, thus making some tasks perform better in a single-task model compared to a multi-task one. Such problems are broadly classified as negative transfer, and many prior approaches in the literature have been made to mitigate these issues. One such current approach to alleviate negative transfer is to weight each of the losses so that they are on the same scale. Whereas current loss balancing approaches rely on either optimization or complex numerical analysis, none directly scale the losses based on their observed magnitudes. We propose multiple techniques for loss balancing based on scaling by the exponential moving average and benchmark them against current best-performing methods on three established datasets. On these datasets, they achieve comparable, if not higher, performance compared to current best-performing methods.
Abstract（参考訳）: マルチタスク学習(MTL)は、従来のシングルタスクモデル群に比べて、複数のタスクでモデルをより効率的に訓練できる能力のため、ディープラーニングへの関心が高まっている。しかし、特定のタスクがトレーニングを支配し、他のタスクのパフォーマンスを損なう可能性があるため、MTLは実用的ではない。このような問題は負の伝達として広く分類され、これらの問題を緩和するために文学における多くの先行的なアプローチがなされている。負転移を緩和するための現在のアプローチの1つは、損失のそれぞれを同じスケールで重み付けすることである。現在の損失分散アプローチは最適化か複素解析のいずれかに依存しているが、観測された大きさに基づいて損失を直接スケールすることはない。本研究では,指数的移動平均によるスケーリングに基づくロスバランシング手法を複数提案し,これらを3つの確立したデータセット上で,現在のベストパフォーマンス手法と比較する。これらのデータセットでは、現在のベストパフォーマンスメソッドと同等のパフォーマンスを実現している。

関連論文リスト

Efficient Remote Sensing with Harmonized Transfer Learning and Modality Alignment [0.0]
ハーモナイズドトランスファーラーニングとモダリティアライメント(HarMA)は,タスク制約,モダリティアライメント,単一モダリティアライメントを同時に満足する手法である。 HarMAはリモートセンシング分野における2つの一般的なマルチモーダル検索タスクにおいて最先端の性能を達成する。
論文参考訳（メタデータ） (2024-04-28T17:20:08Z)
Multitask Learning Can Improve Worst-Group Outcomes [76.92646345152788]
マルチタスク学習(MTL)は、そのような広く使われている技法の一つである。我々は,共同マルチタスク表現空間を正規化することにより,標準MTLを変更することを提案する。正規化MTLアプローチは,平均群と最低群の両方でJTTを上回っていることがわかった。
論文参考訳（メタデータ） (2023-12-05T21:38:24Z)
Scalarization for Multi-Task and Multi-Domain Learning at Scale [15.545810422759295]
複数の入力ドメインと/または出力タスクで単一のモデルをトレーニングすることで、複数のソースからの情報を統一されたバックボーンに圧縮することができる。しかし、これらのネットワークの最適化は、異なるタスクやドメイン間の相違による課題である。
論文参考訳（メタデータ） (2023-10-13T07:31:04Z)
AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文参考訳（メタデータ） (2023-10-04T04:26:33Z)
Equitable Multi-task Learning [18.65048321820911]
マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。本稿では,EMTLという新しいマルチタスク最適化手法を提案する。本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
論文参考訳（メタデータ） (2023-06-15T03:37:23Z)
Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2022-03-09T17:26:53Z)
On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文参考訳（メタデータ） (2022-02-25T13:47:09Z)
SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task Learning [0.0]
マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
論文参考訳（メタデータ） (2021-09-16T20:58:40Z)
Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文参考訳（メタデータ） (2020-10-16T17:45:08Z)
Conditionally Adaptive Multi-Task Learning: Improving Transfer Learning in NLP Using Fewer Parameters & Less Data [5.689320790746046]
マルチタスク学習(MTL)ネットワークは、異なるタスク間で学習知識を伝達するための有望な方法として登場した。しかし、MTLは、低リソースタスクへの過度な適合、破滅的な忘れ込み、負のタスク転送といった課題に対処しなければならない。本稿では,新しい条件付アテンション機構とタスク条件付きモジュール群からなるトランスフォーマーアーキテクチャを提案する。
論文参考訳（メタデータ） (2020-09-19T02:04:34Z)
Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。