論文の概要: Episodic Multi-Task Learning with Heterogeneous Neural Processes
- arxiv url: http://arxiv.org/abs/2310.18713v1
- Date: Sat, 28 Oct 2023 14:12:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 16:52:56.441288
- Title: Episodic Multi-Task Learning with Heterogeneous Neural Processes
- Title（参考訳）: 異種ニューラルプロセスを用いたエピソード多タスク学習
- Authors: Jiayi Shen, Xiantong Zhen, Qi (Cheems) Wang, Marcel Worring
- Abstract要約: 既存のメタラーニング手法では、単一のエピソードにおいて重要な異種情報を利用することができない。
エピソード・マルチタスク・セットアップのためのヘテロジニアス・ニューラル・プロセス(HNP)を開発した。
トランス構造推論モジュールはメタ知識とタスク関連性に対する効率的な推論を可能にするように設計されている。
- 参考スコア（独自算出の注目度）: 44.57162924612301
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper focuses on the data-insufficiency problem in multi-task learning
within an episodic training setup. Specifically, we explore the potential of
heterogeneous information across tasks and meta-knowledge among episodes to
effectively tackle each task with limited data. Existing meta-learning methods
often fail to take advantage of crucial heterogeneous information in a single
episode, while multi-task learning models neglect reusing experience from
earlier episodes. To address the problem of insufficient data, we develop
Heterogeneous Neural Processes (HNPs) for the episodic multi-task setup. Within
the framework of hierarchical Bayes, HNPs effectively capitalize on prior
experiences as meta-knowledge and capture task-relatedness among heterogeneous
tasks, mitigating data-insufficiency. Meanwhile, transformer-structured
inference modules are designed to enable efficient inferences toward
meta-knowledge and task-relatedness. In this way, HNPs can learn more powerful
functional priors for adapting to novel heterogeneous tasks in each meta-test
episode. Experimental results show the superior performance of the proposed
HNPs over typical baselines, and ablation studies verify the effectiveness of
the designed inference modules.
- Abstract（参考訳）: 本稿では,エピソディックトレーニングにおけるマルチタスク学習におけるデータ不足問題に焦点を当てる。
具体的には,タスク間の異種情報やエピソード間のメタ知識の可能性を探り,限られたデータで各タスクに効果的に取り組む。
既存のメタ学習手法は、1つのエピソードにおいて重要な異種情報を活用するのに失敗することが多いが、マルチタスク学習モデルは以前のエピソードからの再利用経験を無視する。
不十分なデータに対処するため,エピソードマルチタスク設定のためのヘテロジニアスニューラルネットワーク(HNP)を開発した。
階層的ベイズの枠組みの中で、HNPはメタ知識としての経験を効果的に生かし、不均一なタスク間のタスク関連性を捉え、データ不足を緩和する。
一方、トランスストラクタ構造推論モジュールは、メタ知識とタスク関連性に対する効率的な推論を可能にするように設計されている。
このようにして、HNPは、メタテストの各エピソードにおいて、新しい異種タスクに適応するためのより強力な機能的事前を学習することができる。
実験結果から,提案したHNPは通常のベースラインよりも優れた性能を示し,アブレーション実験により設計した推論モジュールの有効性が検証された。
関連論文リスト
- Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - DEPHN: Different Expression Parallel Heterogeneous Network using virtual
gradient optimization for Multi-task Learning [1.0705399532413615]
マルチタスク学習(MTL)に基づく推薦システムアルゴリズムは、インターネットオペレーターがユーザを理解し、その振る舞いを予測する主要な方法である。
従来のモデルでは、共有ボットモデルとゲーティングの専門家を使用して、共有表現学習と情報の差別化を実現している。
本稿では,複数のタスクを同時にモデル化するための異なる表現並列不均一ネットワーク(DEPHN)を提案する。
論文 参考訳（メタデータ） (2023-07-24T04:29:00Z) - Pre-training Multi-task Contrastive Learning Models for Scientific
Literature Understanding [52.723297744257536]
事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。
文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
論文 参考訳（メタデータ） (2023-05-23T16:47:22Z) - TaskMix: Data Augmentation for Meta-Learning of Spoken Intent
Understanding [0.0]
本稿では,タスクの多様性が低い場合のオーバーフィッティングという問題を,最先端のデータ拡張手法により悪化させることを示す。
本稿では,既存のタスクを線形に補間することで,新しいタスクを合成する簡単なTaskMixを提案する。
TaskMixはベースラインを上回り、タスクの多様性が低い場合の過度な適合を軽減し、高い場合でも性能が低下しないことを示す。
論文 参考訳（メタデータ） (2022-09-26T00:37:40Z) - Highly Scalable Task Grouping for Deep Multi-Task Learning in Prediction
of Epigenetic Events [0.0]
負の転送に対処する高度にスケーラブルなタスクグループ化フレームワークを提案する。
提案手法は,タスク固有分類ヘッドに関連するネットワーク重みを利用する。
367個のエピジェネティックプロファイルからなるデータセットを用いて,提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2022-09-24T00:39:51Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳（メタデータ） (2021-11-09T18:49:45Z) - Distribution Matching for Heterogeneous Multi-Task Learning: a
Large-scale Face Study [75.42182503265056]
マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。
我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。
大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
論文 参考訳（メタデータ） (2021-05-08T22:26:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。