Fugu-MT 論文翻訳(概要): Multi-Task Neural Processes

論文の概要: Multi-Task Neural Processes

arxiv url: http://arxiv.org/abs/2111.05820v1
Date: Wed, 10 Nov 2021 17:27:46 GMT
ステータス: 処理完了
システム内更新日: 2021-11-11 15:45:51.818208
Title: Multi-Task Neural Processes
Title（参考訳）: マルチタスクニューラルプロセス
Authors: Jiayi Shen, Xiantong Zhen, Marcel Worring, Ling Shao
Abstract要約: 我々はマルチタスク学習のためのニューラル・プロセスの新たな変種であるマルチタスク・ニューラル・プロセスを開発する。特に,各タスク改善のための帰納的バイアスを提供するために,関数空間内の関連するタスクから伝達可能な知識を探索することを提案する。その結果、マルチタスク学習におけるタスク間の有用な知識の伝達におけるマルチタスクニューラルプロセスの有効性が示された。
参考スコア（独自算出の注目度）: 105.22406384964144
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural processes have recently emerged as a class of powerful neural latent variable models that combine the strengths of neural networks and stochastic processes. As they can encode contextual data in the network's function space, they offer a new way to model task relatedness in multi-task learning. To study its potential, we develop multi-task neural processes, a new variant of neural processes for multi-task learning. In particular, we propose to explore transferable knowledge from related tasks in the function space to provide inductive bias for improving each individual task. To do so, we derive the function priors in a hierarchical Bayesian inference framework, which enables each task to incorporate the shared knowledge provided by related tasks into its context of the prediction function. Our multi-task neural processes methodologically expand the scope of vanilla neural processes and provide a new way of exploring task relatedness in function spaces for multi-task learning. The proposed multi-task neural processes are capable of learning multiple tasks with limited labeled data and in the presence of domain shift. We perform extensive experimental evaluations on several benchmarks for the multi-task regression and classification tasks. The results demonstrate the effectiveness of multi-task neural processes in transferring useful knowledge among tasks for multi-task learning and superior performance in multi-task classification and brain image segmentation.
Abstract（参考訳）: ニューラルプロセスは、ニューラルネットワークと確率過程の強みを組み合わせた強力なニューラル潜在変数モデルのクラスとして最近登場した。ネットワークの関数空間にコンテキストデータをエンコードできるため、マルチタスク学習におけるタスク関連性をモデル化する新しい方法を提供する。その可能性を調べるために,マルチタスク学習のためのニューラルプロセスの新しい変種であるマルチタスクニューラルプロセスを開発した。特に,各タスク改善のための帰納的バイアスを提供するために,関数空間内の関連するタスクから伝達可能な知識を探索する。そのため、階層型ベイズ推論フレームワークにおいて、各タスクが関連するタスクが提供する共有知識を予測関数のコンテキストに組み込むことができるように、関数の先行を導出する。マルチタスクニューラルプロセスはバニラニューラルプロセスのスコープを方法論的に拡張し、マルチタスク学習のための関数空間におけるタスク関連性を調べる新しい方法を提供する。提案したマルチタスクニューラルプロセスは、ラベル付きデータとドメインシフトの存在下で、複数のタスクを学習することができる。マルチタスク回帰および分類タスクのためのいくつかのベンチマークにおいて、広範囲な実験的評価を行う。その結果,マルチタスク学習における有用な知識の伝達におけるマルチタスクニューラルプロセスの有効性が示され,マルチタスク分類や脳画像セグメンテーションにおいて優れた性能が得られた。

関連論文リスト

Towards Understanding Multi-Task Learning (Generalization) of LLMs via Detecting and Exploring Task-Specific Neurons [45.04661608619081]
大規模言語モデル(LLM)におけるタスク依存ニューロンは,タスク固有データに対する勾配属性によって検出される。タスク固有のニューロンの重複は、タスク間の一般化と特殊化と強く関連している。連続学習において,現在のタスク固有ニューロンのみを微調整するニューロンレベルの連続微調整法を提案する。
論文参考訳（メタデータ） (2024-07-09T01:27:35Z)
Multitask Learning with No Regret: from Improved Confidence Bounds to Active Learning [79.07658065326592]
推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-08-03T13:08:09Z)
Combining Modular Skills in Multitask Learning [149.8001096811708]
モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
論文参考訳（メタデータ） (2022-02-28T16:07:19Z)
On the relationship between disentanglement and multi-task learning [62.997667081978825]
ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。マルチタスクニューラルネットワークトレーニングの過程において, 絡み合いが自然に現れることを示す。
論文参考訳（メタデータ） (2021-10-07T14:35:34Z)
Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
論文参考訳（メタデータ） (2021-09-15T21:19:11Z)
Efficient and robust multi-task learning in the brain with modular task primitives [2.6166087473624318]
タスクプリミティブを具備したモジュールネットワークは,パラメータ数と更新率を低く保ちながら,複数のタスクを適切に学習することができることを示す。また,本手法により得られたスキルは,他のマルチタスク学習戦略に比べて幅広い摂動に対してより堅牢であることを示す。
論文参考訳（メタデータ） (2021-05-28T21:07:54Z)
Learning Rates for Multi-task Regularization Networks [7.799917891986168]
マルチタスク学習は、人工知能とビッグデータの時代に直面する機械学習の重要なトレンドである。本稿では,ベクトル値再現核ヒルベルト空間と行列値再生核の理論に基づくマルチタスク学習の学習率推定に関する数学的解析を行う。タスク数の増加に伴い、マルチタスク学習アルゴリズムの一般化能力が実際に影響を受けることが明らかになった。
論文参考訳（メタデータ） (2021-04-01T13:10:29Z)
Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
論文参考訳（メタデータ） (2020-09-10T19:31:04Z)
Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文参考訳（メタデータ） (2020-07-24T14:44:46Z)
Navigating the Trade-Off between Multi-Task Learning and Learning to Multitask in Deep Neural Networks [9.278739724750343]
マルチタスク学習(マルチタスクきゅう、英: Multi-task learning)とは、機械学習において、ネットワークがタスクの取得を容易にするために様々なタスクで訓練されるパラダイムである。マルチタスクは、特に認知科学の文献において、複数のタスクを同時に実行する能力を示すために用いられる。深層ネットワークでも同様の緊張が生じていることを示し、エージェントが不慣れな環境でこのトレードオフを管理するためのメタ学習アルゴリズムについて議論する。
論文参考訳（メタデータ） (2020-07-20T23:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。