論文の概要: Variational Multi-Task Learning with Gumbel-Softmax Priors

• arxiv url: http://arxiv.org/abs/2111.05323v1
• Date: Tue, 9 Nov 2021 18:49:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-10 15:54:56.631399
• Title: Variational Multi-Task Learning with Gumbel-Softmax Priors
• Title（参考訳）: Gumbel-Softmax pres を用いた変分マルチタスク学習
• Authors: Jiayi Shen, Xiantong Zhen, Marcel Worring, Ling Shao
• Abstract要約: マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
• 参考スコア（独自算出の注目度）: 105.22406384964144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task learning aims to explore task relatedness to improve individual tasks, which is of particular significance in the challenging scenario that only limited data is available for each task. To tackle this challenge, we propose variational multi-task learning (VMTL), a general probabilistic inference framework for learning multiple related tasks. We cast multi-task learning as a variational Bayesian inference problem, in which task relatedness is explored in a unified manner by specifying priors. To incorporate shared knowledge into each task, we design the prior of a task to be a learnable mixture of the variational posteriors of other related tasks, which is learned by the Gumbel-Softmax technique. In contrast to previous methods, our VMTL can exploit task relatedness for both representations and classifiers in a principled way by jointly inferring their posteriors. This enables individual tasks to fully leverage inductive biases provided by related tasks, therefore improving the overall performance of all tasks. Experimental results demonstrate that the proposed VMTL is able to effectively tackle a variety of challenging multi-task learning settings with limited training data for both classification and regression. Our method consistently surpasses previous methods, including strong Bayesian approaches, and achieves state-of-the-art performance on five benchmark datasets.
• Abstract（参考訳）: マルチタスク学習(multi-task learning)は、タスクの関連性を探求し、個々のタスクを改善することを目的としている。 そこで本研究では,複数のタスクを学習するための汎用確率的推論フレームワークである変分多タスク学習(vmtl)を提案する。 マルチタスク学習をベイズ推論の変分問題とみなし,タスク関連性を事前の特定によって統一的に検討した。 各タスクに共有知識を組み込むため、タスクの事前を、gumbel-softmax技術によって学習される他の関連するタスクの変動後段の学習可能な混合物として設計する。 従来の手法とは対照的に,我々のVMTLは,後方を共同で推論することで,表現と分類器の両方のタスク関連性を原則的に活用することができる。 これにより、個々のタスクは関連するタスクによって提供される帰納的バイアスを完全に活用できる。 実験の結果,提案するvmtlは,分類と回帰のトレーニングデータに制限のある多タスク学習環境に効果的に対応できることがわかった。 提案手法はベイズ的アプローチを含む従来の手法を一貫して上回り、5つのベンチマークデータセット上で最先端の性能を達成する。

関連論文リスト

• Identifying Task Groupings for Multi-Task Learning Using Pointwise V-Usable Information [11.545160697026514]
  ポイントワイド V-Uable Information (PVI) を用いたタスク難易度に基づくタスク関連度尺度を提案する。 我々は, 一般, バイオメディカル, 臨床領域において, 15個のNLPデータセットを用いたタスクグループ化の実現可能性を評価する実験を行った。
  論文  参考訳（メタデータ） (2024-10-16T17:49:45Z)
• CoTBal: Comprehensive Task Balancing for Multi-Task Visual Instruction Tuning [20.58878416527427]
  LMMのマルチタスク視覚的インストラクションチューニングのための新しい包括的タスクバランシングアルゴリズムを提案する。 我々のCoTBalはマルチタスク・ビジュアル・インストラクション・チューニングにおける全体的な性能に優れています。
  論文  参考訳（メタデータ） (2024-03-07T09:11:16Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Task Selection and Assignment for Multi-modal Multi-task Dialogue Act Classification with Non-stationary Multi-armed Bandits [11.682678945754837]
  マルチタスク学習(MTL)は、関連する補助タスクと共同学習することで、一次タスクの性能を向上させることを目的としている。 これまでの研究では、このようなランダムなタスクの選択は役に立たない可能性があり、パフォーマンスに有害な可能性があることが示唆されている。 本稿では,非定常的マルチアームバンディットに基づくタスクの選択と割り当てを行う手法を提案する。
  論文  参考訳（メタデータ） (2023-09-18T14:51:51Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Leveraging convergence behavior to balance conflicting tasks in multi-task learning [3.6212652499950138]
  マルチタスク学習は、パフォーマンスの一般化を改善するために相関タスクを使用する。 タスクは互いに衝突することが多いため、複数のタスクの勾配をどのように組み合わせるべきかを定義するのは難しい。 バックプロパゲーション中の各タスクの重要度を調整する動的バイアスを生成するために,勾配の時間的挙動を考慮した手法を提案する。
  論文  参考訳（メタデータ） (2022-04-14T01:52:34Z)
• On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
  マルチタスク学習の研究はコミュニティから大きな注目を集めている。 目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。 従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。 本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。 さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T11:57:18Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
  論文  参考訳（メタデータ） (2020-10-29T08:25:43Z)
• A Simple General Approach to Balance Task Difficulty in Multi-Task Learning [4.531240717484252]
  マルチタスク学習では、異なるタスクの難易度が異なる。 本稿では,BMTL(Ba balanced Multi-Task Learning)フレームワークを提案する。 提案するBMTLフレームワークは非常にシンプルで、ほとんどのマルチタスク学習モデルと組み合わせることができる。
  論文  参考訳（メタデータ） (2020-02-12T04:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。