論文の概要: Learning Multi-Tasks with Inconsistent Labels by using Auxiliary Big Task

• arxiv url: http://arxiv.org/abs/2201.02305v1
• Date: Fri, 7 Jan 2022 02:46:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-10 14:03:56.658701
• Title: Learning Multi-Tasks with Inconsistent Labels by using Auxiliary Big Task
• Title（参考訳）: Auxiliary Big Task を用いた不整合ラベルを用いたマルチタスク学習
• Authors: Quan Feng, Songcan Chen
• Abstract要約: マルチタスク学習は,タスク間の共通知識の伝達と活用により,モデルの性能を向上させることを目的とする。 本稿では,これらの課題をカバーするために,学習した補助的大タスクから豊富な情報と十分な数のクラスを両立させることにより,これらの課題を学習するための枠組みを提案する。 実験により, 現状のアプローチと比較し, その有効性を示した。
• 参考スコア（独自算出の注目度）: 24.618094251341958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning is to improve the performance of the model by transferring and exploiting common knowledge among tasks. Existing MTL works mainly focus on the scenario where label sets among multiple tasks (MTs) are usually the same, thus they can be utilized for learning across the tasks. While almost rare works explore the scenario where each task only has a small amount of training samples, and their label sets are just partially overlapped or even not. Learning such MTs is more challenging because of less correlation information available among these tasks. For this, we propose a framework to learn these tasks by jointly leveraging both abundant information from a learnt auxiliary big task with sufficiently many classes to cover those of all these tasks and the information shared among those partially-overlapped tasks. In our implementation of using the same neural network architecture of the learnt auxiliary task to learn individual tasks, the key idea is to utilize available label information to adaptively prune the hidden layer neurons of the auxiliary network to construct corresponding network for each task, while accompanying a joint learning across individual tasks. Our experimental results demonstrate its effectiveness in comparison with the state-of-the-art approaches.
• Abstract（参考訳）: マルチタスク学習は,タスク間の共通知識の伝達と活用により,モデルの性能を向上させる。 既存のMTLは主に、複数のタスク(MT)間のラベルセットが通常同じであるシナリオに焦点を当てており、タスク間の学習に利用することができる。 ほとんどまれな作業は、各タスクが少量のトレーニングサンプルしか持たず、ラベルセットが部分的に重複する、あるいは重複しない、というシナリオを探求する。 このようなMTの学習は、これらのタスク間の相関情報が少ないため、より難しい。 そこで本稿では,これらの課題のすべてをカバーするために,学習補助大タスクから豊富な情報と十分な数のクラスを共同で活用することにより,これらの課題を学習する枠組みを提案する。 学習した補助タスクの同じニューラルネットワークアーキテクチャを用いて個々のタスクを学習する上で、キーとなるアイデアは、利用可能なラベル情報を用いて、補助ネットワークの隠れた層ニューロンを適応的に訓練し、各タスクに対して対応するネットワークを構築することである。 実験結果は,最先端の手法と比較し,その効果を示す。

関連論文リスト

• Joint-Task Regularization for Partially Labeled Multi-Task Learning [30.823282043129552]
  機械学習分野ではマルチタスク学習がますます人気になっているが、その実用性は大規模ラベル付きデータセットの必要性によって妨げられている。 本稿では, クロスタスク関係を利用して, 全タスクを1つのジョイントタスク潜在空間で同時に正規化する直感的手法であるジョイントタスク正規化(JTR)を提案する。
  論文  参考訳（メタデータ） (2024-04-02T14:16:59Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• PartAL: Efficient Partial Active Learning in Multi-Task Visual Settings [57.08386016411536]
  注記すべき画像だけでなく、各アクティブラーニング(AL)にアノテーションを提供するタスクのサブセットを選択する方が効果的であることを示す。 提案手法の有効性を,複数の一般的なマルチタスクデータセットに示す。
  論文  参考訳（メタデータ） (2022-11-21T15:08:35Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Modular Adaptive Policy Selection for Multi-Task Imitation Learning through Task Division [60.232542918414985]
  マルチタスク学習は、しばしば負の伝達に悩まされ、タスク固有の情報を共有する。 これは、プロトポリケーションをモジュールとして使用して、タスクを共有可能な単純なサブ振る舞いに分割する。 また、タスクを共有サブ行動とタスク固有のサブ行動の両方に自律的に分割する能力を示す。
  論文  参考訳（メタデータ） (2022-03-28T15:53:17Z)
• Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。 本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
  論文  参考訳（メタデータ） (2021-09-10T02:01:43Z)
• Multi-Task Reinforcement Learning with Context-based Representations [43.93866702838777]
  本稿では,複数のタスク群にまたがる複数のコンテキスト依存・構成可能な表現を用いて,知識伝達の効率的な手法を提案する。 提案手法を用いて,50種類のロボット操作タスクからなるマルチタスク・ベンチマークであるMeta-Worldの最先端結果を得る。
  論文  参考訳（メタデータ） (2021-02-11T18:41:27Z)
• Context-Aware Multi-Task Learning for Traffic Scene Recognition in Autonomous Vehicles [10.475998113861895]
  マルチタスク学習ネットワークを採用することにより,タスク固有表現と共有表現を協調的に学習するアルゴリズムを提案する。 大規模データセットHSDの実験は、最先端手法よりもネットワークの有効性と優位性を実証している。
  論文  参考訳（メタデータ） (2020-04-03T03:09:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。