論文の概要: Adaptive Weight Assignment Scheme For Multi-task Learning

• arxiv url: http://arxiv.org/abs/2303.07278v1
• Date: Fri, 10 Mar 2023 08:06:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 13:58:12.627942
• Title: Adaptive Weight Assignment Scheme For Multi-task Learning
• Title（参考訳）: マルチタスク学習のための適応重み付け方式
• Authors: Aminul Huq, Mst Tasnim Pervin
• Abstract要約: ディープラーニングモデルは、今ではすべてのアプリケーションで定期的に使われています。 複数のタスクを1つのモデルでマルチタスク学習設定でトレーニングできます。 マルチタスク学習環境でモデルをトレーニングするには、異なるタスクからの損失値をまとめる必要があります。 本稿では,モデルの性能を向上する単純な重み付け方式を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Deep learning based models are used regularly in every applications nowadays. Generally we train a single model on a single task. However, we can train multiple tasks on a single model under multi-task learning settings. This provides us many benefits like lesser training time, training a single model for multiple tasks, reducing overfitting, improving performances etc. To train a model in multi-task learning settings we need to sum the loss values from different tasks. In vanilla multi-task learning settings we assign equal weights but since not all tasks are of similar difficulty we need to allocate more weight to tasks which are more difficult. Also improper weight assignment reduces the performance of the model. We propose a simple weight assignment scheme in this paper which improves the performance of the model and puts more emphasis on difficult tasks. We tested our methods performance on both image and textual data and also compared performance against two popular weight assignment methods. Empirical results suggest that our proposed method achieves better results compared to other popular methods.
• Abstract（参考訳）: ディープラーニングベースのモデルは現在、すべてのアプリケーションで定期的に使用されています。 一般的に、1つのタスクで1つのモデルをトレーニングします。 しかし、マルチタスク学習設定では、1つのモデルで複数のタスクをトレーニングできる。 これにより、トレーニング時間の短縮、複数のタスクに対する単一モデルのトレーニング、過剰フィッティングの削減、パフォーマンスの向上など、多くのメリットが得られます。 マルチタスク学習環境でモデルをトレーニングするには、異なるタスクの損失値を統合する必要があります。 バニラマルチタスク学習設定では、同じ重みを割り当てるが、すべてのタスクが同様の困難であるとは限らないため、より難しいタスクにより多くの重みを割り当てる必要がある。 また、不適切な重み付けはモデルの性能を低下させる。 本稿では,モデルの性能を向上し,より難しいタスクに重点を置く,簡単な重み付け方式を提案する。 提案手法を画像データとテキストデータの両方でテストし,2つの一般的な重み付け手法との比較を行った。 実験結果から,提案手法は他の一般的な手法と比較して優れた結果が得られることが示唆された。

関連論文リスト

• MOWA: Multiple-in-One Image Warping Model [65.73060159073644]
  本研究で提案するマルチ・イン・ワン・イメージ・ワープ・モデル(MOWA)について述べる。 領域レベルと画素レベルでの動作推定を両立させることにより,マルチタスク学習の難しさを軽減する。 私たちの知る限り、これは1つのモデルで複数の実用的なワープタスクを解決する最初の作業です。
  論文  参考訳（メタデータ） (2024-04-16T16:50:35Z)
• Less is More -- Towards parsimonious multi-task models using structured sparsity [4.874780144224057]
  この作業は、パラメータが少ない複数のタスクに最適化されたスパースモデルを作成することに焦点を当てている。 マルチタスク学習モデルの共有畳み込み層パラメータ(あるいは重み付け)にチャネルワイズl1/l2グループ間隔を導入する。 広範に使用されている2つのマルチタスク学習(MTL)データセットにおいて,シングルタスクとマルチタスク設定の両方においてグループ間隔が生じた結果を分析した。
  論文  参考訳（メタデータ） (2023-08-23T13:09:03Z)
• Voting from Nearest Tasks: Meta-Vote Pruning of Pre-trained Models for Downstream Tasks [55.431048995662714]
  我々は、類似タスクの刈り取られたモデルから、新しいタスクのための小さなモデルを作成する。 このモデルに関するいくつかの微調整ステップは、新しいタスクに対して有望なプルーンドモデルを生成するのに十分であることを示す。 我々は, 単純だが効果的な'Meta-Vote Pruning (MVP)' 手法を開発した。
  論文  参考訳（メタデータ） (2023-01-27T06:49:47Z)
• OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist Models [72.8156832931841]
  ジェネリストモデルは、単一のモデル内でタスクに依存しない方法で多様なマルチモーダルタスクを実行することができる。 マルチモーダル命令と呼ばれる宣言型タスクインタフェース上に構築された汎用モデル学習システムOFASysをリリースする。
  論文  参考訳（メタデータ） (2022-12-08T17:07:09Z)
• DiSparse: Disentangled Sparsification for Multitask Model Compression [92.84435347164435]
  DiSparseは、シンプルで効果的で、第一級のマルチタスクプルーニングとスパーストレーニングスキームである。 実験の結果,様々な設定や設定において優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-09T17:57:46Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Modular Networks Prevent Catastrophic Interference in Model-Based Multi-Task Reinforcement Learning [0.8883733362171032]
  モデルベースのマルチタスク強化学習が、共有ポリシネットワークからモデルフリーメソッドが行うのと同様の方法で、共有ダイナミクスモデルから恩恵を受けるかどうかを検討する。 単一ダイナミクスモデルを用いて、タスクの混乱と性能低下の明確な証拠を見出す。 対策として、学習力学モデルの内部構造を個別のサブネットワークにトレーニングすることで、パフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-15T12:31:31Z)
• Boosting a Model Zoo for Multi-Task and Continual Learning [15.110807414130923]
  モデル動物園」はモデルのアンサンブルを構築するアルゴリズムであり、それぞれが非常に小さく、小さなタスクセットで訓練されている。 モデルZooは,マルチタスクおよび連続学習における最先端手法と比較して,予測精度が大きく向上する。
  論文  参考訳（メタデータ） (2021-06-06T04:25:09Z)
• Conditionally Adaptive Multi-Task Learning: Improving Transfer Learning in NLP Using Fewer Parameters & Less Data [5.689320790746046]
  マルチタスク学習(MTL)ネットワークは、異なるタスク間で学習知識を伝達するための有望な方法として登場した。 しかし、MTLは、低リソースタスクへの過度な適合、破滅的な忘れ込み、負のタスク転送といった課題に対処しなければならない。 本稿では,新しい条件付アテンション機構とタスク条件付きモジュール群からなるトランスフォーマーアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-09-19T02:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。