論文の概要: Learning Boost by Exploiting the Auxiliary Task in Multi-task Domain
- arxiv url: http://arxiv.org/abs/2008.02043v1
- Date: Wed, 5 Aug 2020 10:56:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 17:26:43.395024
- Title: Learning Boost by Exploiting the Auxiliary Task in Multi-task Domain
- Title（参考訳）: マルチタスク領域における補助タスク活用による学習促進
- Authors: Jonghwa Yim, Sang Hwan Kim
- Abstract要約: ひとつの共有関数で2つのタスクを学ぶことは、いくつかの利点があります。
これは、両方のタスクに対して一般的に適用可能な情報を使って学習できる関数を一般化するのに役立ちます。
しかし、現実の環境では、タスクは必然的に、負の移動と呼ばれる学習フェーズにおいてそれらの間に衝突する。
本稿では, 学習過程におけるクラスワイドの活用により, 肯定的な伝達を促進し, 負の伝達を抑制する新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 1.2183405753834562
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Learning two tasks in a single shared function has some benefits. Firstly by
acquiring information from the second task, the shared function leverages
useful information that could have been neglected or underestimated in the
first task. Secondly, it helps to generalize the function that can be learned
using generally applicable information for both tasks. To fully enjoy these
benefits, Multi-task Learning (MTL) has long been researched in various domains
such as computer vision, language understanding, and speech synthesis. While
MTL benefits from the positive transfer of information from multiple tasks, in
a real environment, tasks inevitably have a conflict between them during the
learning phase, called negative transfer. The negative transfer hampers
function from achieving the optimality and degrades the performance. To solve
the problem of the task conflict, previous works only suggested partial
solutions that are not fundamental, but ad-hoc. A common approach is using a
weighted sum of losses. The weights are adjusted to induce positive transfer.
Paradoxically, this kind of solution acknowledges the problem of negative
transfer and cannot remove it unless the weight of the task is set to zero.
Therefore, these previous methods had limited success. In this paper, we
introduce a novel approach that can drive positive transfer and suppress
negative transfer by leveraging class-wise weights in the learning process. The
weights act as an arbitrator of the fundamental unit of information to
determine its positive or negative status to the main task.
- Abstract（参考訳）: ひとつの共有関数で2つのタスクを学ぶことは、いくつかの利点があります。
まず、第2のタスクから情報を取得することで、共有機能は、第1のタスクで無視または過小評価された有用な情報を活用する。
第二に、両方のタスクに一般的に適用される情報を使って学習できる機能を一般化するのに役立ちます。
これらの利点を十分に享受するために、マルチタスク学習(MTL)はコンピュータビジョン、言語理解、音声合成など様々な分野で研究されてきた。
MTLは、複数のタスクからの情報のポジティブな転送から恩恵を受けるが、実際の環境では、タスクは必然的に、負の転送と呼ばれる学習フェーズにおいてそれらの間の衝突を引き起こす。
負の転送ハッパーは、最適性を達成し、性能を低下させる。
タスクコンフリクトの問題を解決するために、以前の研究は基本ではなくアドホックな部分解のみを示唆した。
一般的なアプローチは、損失の重み付け和を使うことである。
重量は正の移動を誘導するために調整される。
逆説的に、この種の解は負の転送の問題を認識し、タスクの重みがゼロに設定されない限り削除できない。
そのため、これらの手法は限られた成功を収めた。
本稿では,学習過程におけるクラスワイドの活用により,ポジティブトランスファーを促進し,ネガティブトランスファーを抑制する新しいアプローチを提案する。
重みは情報の基本単位の仲裁役として機能し、主タスクに対する正または負の状態を決定する。
関連論文リスト
- Enabling Asymmetric Knowledge Transfer in Multi-Task Learning with Self-Auxiliaries [4.031100721019478]
本研究では,知識伝達が他者の学習を妨げることなく,特定のタスクの学習を支援する非対称なタスク関係について検討する。
本研究では,非対称にタスク間の知識を柔軟に伝達する学習プロセスに,自己辞書と呼ばれる追加のクローンタスクを含む最適化戦略を提案する。
非対称な知識伝達は、ベンチマークコンピュータビジョン問題における既存のマルチタスク最適化戦略と比較して、性能が大幅に向上することを示した。
論文 参考訳（メタデータ） (2024-10-21T10:57:25Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Mitigating Negative Transfer with Task Awareness for Sexism, Hate
Speech, and Toxic Language Detection [7.661927086611542]
本稿では,タスク認知概念に基づく負の伝達問題を緩和するための新しいアプローチを提案する。
提案手法は,従来のMTLソリューションよりも性能が向上すると共に,負の転送を減少させる。
提案手法はSexism, Hate Speech, Toxic Languageをテキストコメントで検出するために, 2つの統一アーキテクチャで実装されている。
論文 参考訳（メタデータ） (2023-07-07T04:10:37Z) - ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。
複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。
ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
論文 参考訳（メタデータ） (2023-01-30T02:27:02Z) - Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。
本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。
本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
論文 参考訳（メタデータ） (2022-10-27T16:06:47Z) - Identifying Suitable Tasks for Inductive Transfer Through the Analysis
of Feature Attributions [78.55044112903148]
我々は、単一タスクモデル間のニューラルネットワークアクティベーションの比較を通じて、タスクペアが相補的になるかどうかを予測するために、説明可能性技術を使用する。
提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
論文 参考訳（メタデータ） (2022-02-02T15:51:07Z) - Phase Transitions in Transfer Learning for High-Dimensional Perceptrons [12.614901374282868]
伝達学習は、関連するソースタスクから学んだ知識を活用することにより、対象タスクの一般化性能の向上を目指す。
後者の質問は、転送元情報が実際にターゲットタスクの一般化性能を減少させるいわゆる負の転送現象に関連しています。
本稿では,関連する1対のパーセプトロン学習タスクを解析し,転送学習の理論解析を行う。
論文 参考訳（メタデータ） (2021-01-06T08:29:22Z) - Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
本研究では,33のNLPタスク間の伝達可能性について検討した。
以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。
また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
論文 参考訳（メタデータ） (2020-05-02T09:39:36Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z) - Representation Ensembling for Synergistic Lifelong Learning with
Quasilinear Complexity [17.858926093389737]
生涯学習では、データは現在のタスクだけでなく、以前に遭遇したタスクや、未報告のタスクでもパフォーマンスを向上させるために使用される。
私たちの重要な洞察は、異なるタスクで独立して学習された表現を相乗的にアンサンブルすることで、前方と後方の両方の転送を可能にします。
論文 参考訳（メタデータ） (2020-04-27T16:16:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。