論文の概要: Task Addition in Multi-Task Learning by Geometrical Alignment
- arxiv url: http://arxiv.org/abs/2409.16645v1
- Date: Wed, 25 Sep 2024 05:56:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 05:23:25.804379
- Title: Task Addition in Multi-Task Learning by Geometrical Alignment
- Title（参考訳）: 幾何学的アライメントによるマルチタスク学習におけるタスク追加
- Authors: Soorin Yim, Dae-Woong Jeong, Sung Moon Ko, Sumin Lee, Hyunseung Kim, Chanhui Lee, Sehui Han,
- Abstract要約: 本稿では,限定データを用いた目標タスクの性能向上のためのタスク追加手法を提案する。
これは、大規模データセット上で教師付きマルチタスク事前トレーニングによって達成され、続いて、各タスクに対するタスク固有のモジュールの追加とトレーニングが行われる。
本実験は,従来のマルチタスク手法よりもGATEのタスク追加戦略の方が,計算コストに匹敵する優れた性能を示す。
- 参考スコア（独自算出の注目度）: 4.220885199861056
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Training deep learning models on limited data while maintaining generalization is one of the fundamental challenges in molecular property prediction. One effective solution is transferring knowledge extracted from abundant datasets to those with scarce data. Recently, a novel algorithm called Geometrically Aligned Transfer Encoder (GATE) has been introduced, which uses soft parameter sharing by aligning the geometrical shapes of task-specific latent spaces. However, GATE faces limitations in scaling to multiple tasks due to computational costs. In this study, we propose a task addition approach for GATE to improve performance on target tasks with limited data while minimizing computational complexity. It is achieved through supervised multi-task pre-training on a large dataset, followed by the addition and training of task-specific modules for each target task. Our experiments demonstrate the superior performance of the task addition strategy for GATE over conventional multi-task methods, with comparable computational costs.
- Abstract（参考訳）: 一般化を維持しながら、限られたデータ上でディープラーニングモデルを訓練することは、分子特性予測における根本的な課題の1つである。
効果的な解決策の1つは、豊富なデータセットから抽出された知識を少ないデータに転送することである。
近年,タスク固有の潜伏空間の幾何学的形状を整列させることにより,ソフトパラメータ共有を利用するGeometrically Aligned Transfer Encoder (GATE) と呼ばれる新しいアルゴリズムが導入された。
しかし、GATEは計算コストのため、複数のタスクへのスケーリングの制限に直面している。
本研究では,計算複雑性を最小化しつつ,限られたデータで目標タスクの性能を向上させるためのタスク追加手法を提案する。
これは、大規模なデータセット上で教師付きマルチタスク事前トレーニングによって達成され、続いて、各タスクに対するタスク固有のモジュールの追加とトレーニングが行われる。
本実験は,従来のマルチタスク手法よりもGATEのタスク追加戦略の方が,計算コストに匹敵する優れた性能を示す。
関連論文リスト
- Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Multi-Objective Optimization for Sparse Deep Multi-Task Learning [0.0]
重み付きチェビシェフスキャラライゼーションを用いたディープニューラルネットワーク(DNN)のトレーニングのための多目的最適化アルゴリズムを提案する。
本研究の目的は,DNNモデルの持続可能性問題,特にDeep Multi-Taskモデルに焦点をあてることである。
論文 参考訳（メタデータ） (2023-08-23T16:42:27Z) - STG-MTL: Scalable Task Grouping for Multi-Task Learning Using Data Map [4.263847576433289]
MTL(Multi-Task Learning)は、従来のSTL(Single-Task Learning)よりも性能が向上し、普及した強力な技術である。
しかし、MTLは指数的なタスクグルーピング数が多いため、しばしば困難である。
本稿では,これらの課題に対処し,課題分類のためのスケーラブルでモジュール化されたソリューションを提供する新しいデータ駆動手法を提案する。
論文 参考訳（メタデータ） (2023-07-07T03:54:26Z) - Highly Scalable Task Grouping for Deep Multi-Task Learning in Prediction
of Epigenetic Events [0.0]
負の転送に対処する高度にスケーラブルなタスクグループ化フレームワークを提案する。
提案手法は,タスク固有分類ヘッドに関連するネットワーク重みを利用する。
367個のエピジェネティックプロファイルからなるデータセットを用いて,提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2022-09-24T00:39:51Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳（メタデータ） (2021-11-09T18:49:45Z) - Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。
そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。
本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文 参考訳（メタデータ） (2021-10-14T07:43:39Z) - On-edge Multi-task Transfer Learning: Model and Practice with
Data-driven Task Allocation [20.20889051697198]
マルチタスク・トランスファー・ラーニング(MTL)におけるタスク・アロケーションは,NP完全Knapsack問題の変種であることを示す。
我々は,データ駆動型協調作業割当(DCTA)アプローチを提案し,高い計算効率でTATIMを解く。
我々のDCTAは処理時間の3.24倍を削減し、TATIMを解く際の最先端技術と比較して48.4%の省エネを図っている。
論文 参考訳（メタデータ） (2021-07-06T08:24:25Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。