Fugu-MT 論文翻訳(概要): Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task Feature Learning

論文の概要: Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task Feature Learning

arxiv url: http://arxiv.org/abs/2012.09575v1
Date: Thu, 17 Dec 2020 13:30:45 GMT
ステータス: 処理完了
システム内更新日: 2021-05-02 17:22:17.992620
Title: Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task Feature Learning
Title（参考訳）: 非対称マルチタスク特徴学習におけるタスク不確かさ損失の負の移動
Authors: Rafael Peres da Silva, Chayaporn Suphavilai, Niranjan Nagarajan
Abstract要約: マルチタスク学習(MTL)は、シングルタスク学習(STL)と比較して全体的なタスクパフォーマンスを向上させることができるが、負の転送(NT)を隠すことができる。非対称マルチタスク特徴学習(AMTFL)は、損失値の高いタスクが他のタスクを学習するための特徴表現に与える影響を小さくすることで、この問題に対処しようとするアプローチである。 2つのデータセット (画像認識と薬理ゲノミクス) におけるntの例を示し, 課題間の相対的信頼度を捉え, タスク損失の重み付けを行うことにより, この課題に挑戦する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multi-task learning (MTL) is frequently used in settings where a target task has to be learnt based on limited training data, but knowledge can be leveraged from related auxiliary tasks. While MTL can improve task performance overall relative to single-task learning (STL), these improvements can hide negative transfer (NT), where STL may deliver better performance for many individual tasks. Asymmetric multitask feature learning (AMTFL) is an approach that tries to address this by allowing tasks with higher loss values to have smaller influence on feature representations for learning other tasks. Task loss values do not necessarily indicate reliability of models for a specific task. We present examples of NT in two orthogonal datasets (image recognition and pharmacogenomics) and tackle this challenge by using aleatoric homoscedastic uncertainty to capture the relative confidence between tasks, and set weights for task loss. Our results show that this approach reduces NT providing a new approach to enable robust MTL.
Abstract（参考訳）: マルチタスク学習(MTL)は、限られた訓練データに基づいて目標タスクを学習しなければならない設定で頻繁に使用されるが、関連する補助タスクから知識を活用できる。 mtlはシングルタスク学習(stl)と比較して全体的なタスクパフォーマンスを向上させることができるが、これらの改善は負の転送(nt)を隠すことができる。非対称マルチタスク特徴学習(AMTFL)は、損失値の高いタスクが他のタスクを学習するための特徴表現に与える影響を小さくすることで、この問題に対処しようとするアプローチである。タスク損失値は必ずしも特定のタスクのモデルの信頼性を示すものではない。本稿では,2つの直交データセット(画像認識と薬理ゲノミクス)にNTの例を示し,課題間の相対的信頼度を把握し,タスク損失の重みを設定することで,この課題に対処する。提案手法は,堅牢なMTLを実現するための新しいアプローチを提供するNTを削減できることを示す。

関連論文リスト

Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文参考訳（メタデータ） (2024-01-02T14:18:11Z)
Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文参考訳（メタデータ） (2023-11-23T15:46:54Z)
Mitigating Task Interference in Multi-Task Learning via Explicit Task Routing with Non-Learnable Primitives [19.90788777476128]
マルチタスク学習(MTL)は、タスク間の共有情報を活用することで、複数のタスクを達成するための単一のモデルを学ぶことを目指している。既存のMLLモデルはタスク間の負の干渉に悩まされていることが知られている。本研究では,非学習可能なプリミティブと明示的なタスクルーティングの相乗的組み合わせによるタスク干渉を軽減するためのETR-NLPを提案する。
論文参考訳（メタデータ） (2023-08-03T22:34:16Z)
Sample-Level Weighting for Multi-Task Learning with Auxiliary Tasks [0.0]
マルチタスク学習(MTL)は、関連するタスクと表現を共有することにより、ニューラルネットワークの一般化性能を向上させることができる。 MTLはまた、タスク間の有害な干渉によってパフォーマンスを低下させる。補助タスクを用いたマルチタスク学習のためのサンプルレベル重み付けアルゴリズムであるSLGradを提案する。
論文参考訳（メタデータ） (2023-06-07T15:29:46Z)
ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
論文参考訳（メタデータ） (2023-01-30T02:27:02Z)
"It's a Match!" -- A Benchmark of Task Affinity Scores for Joint Learning [74.14961250042629]
MTL(Multi-Task Learning)は、その成功の条件を特徴づけることが、ディープラーニングにおいて依然としてオープンな問題である、と約束する。共同学習におけるタスク親和性の推定は重要な取り組みである。最近の研究は、訓練条件自体がMTLの結果に重大な影響を与えることを示唆している。しかし,本研究では,タスク親和性評価手法の有効性を評価するためのベンチマークが欠落している。
論文参考訳（メタデータ） (2023-01-07T15:16:35Z)
TaskMix: Data Augmentation for Meta-Learning of Spoken Intent Understanding [0.0]
本稿では,タスクの多様性が低い場合のオーバーフィッティングという問題を,最先端のデータ拡張手法により悪化させることを示す。本稿では,既存のタスクを線形に補間することで,新しいタスクを合成する簡単なTaskMixを提案する。 TaskMixはベースラインを上回り、タスクの多様性が低い場合の過度な適合を軽減し、高い場合でも性能が低下しないことを示す。
論文参考訳（メタデータ） (2022-09-26T00:37:40Z)
Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
論文参考訳（メタデータ） (2022-04-16T00:56:12Z)
HydaLearn: Highly Dynamic Task Weighting for Multi-task Learning with Auxiliary Tasks [4.095907708855597]
マルチタスク学習(MTL)は、1つ以上の関連する補助タスクと表現を共有することでタスクのパフォーマンスを向上させることができる。通常、MTL-networksは、個別のタスク損失の一定の重み付けによる複合損失関数に基づいて訓練される。実際には, 一定損失重みは, (i) ミニバッチに基づく最適化において, 最適タスク重みは, ミニバッチのサンプル組成に応じて, 更新から次へと大きく変化する。メインタスクのゲインを個別のタスク勾配に結びつけるインテリジェントな重み付けアルゴリズムであるHydaLearnを導入して,その情報を伝達する。
論文参考訳（メタデータ） (2020-08-26T16:04:02Z)
Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文参考訳（メタデータ） (2020-07-24T14:44:46Z)
Knowledge Distillation for Multi-task Learning [38.20005345733544]
マルチタスク学習(MTL)は、全てのタスクで優れたパフォーマンスを達成し、計算コストを下げるための複数のタスクを実行する単一のモデルを学習することである。そのようなモデルを学ぶには、難易度、大きさ、特性の異なる一連のタスクの損失を共同で最適化する必要がある。本研究では,マルチタスク学習における不均衡問題に対処するために,知識蒸留に基づく手法を提案する。
論文参考訳（メタデータ） (2020-07-14T08:02:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。