論文の概要: Learning Twofold Heterogeneous Multi-Task by Sharing Similar Convolution Kernel Pairs

• arxiv url: http://arxiv.org/abs/2101.12431v1
• Date: Fri, 29 Jan 2021 06:52:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 00:28:39.019557
• Title: Learning Twofold Heterogeneous Multi-Task by Sharing Similar Convolution Kernel Pairs
• Title（参考訳）: 類似した畳み込みカーネルペアの共有による2次元異種マルチタスクの学習
• Authors: Quan Feng and Songcan Chen
• Abstract要約: 不均一マルチタスク学習(HMTL)はマルチタスク学習(MTL)において重要なトピックです。 このようなTHMTL設定で複数のタスクを学ぶために、シンプルで効果的なマルチタスク適応学習(MTAL)ネットワークを設計します。 本モデルは,ネットワーク全体の冗長性を抑えつつ,クロスタスク学習を効果的に行う。
• 参考スコア（独自算出の注目度）: 24.044458897098913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heterogeneous multi-task learning (HMTL) is an important topic in multi-task learning (MTL). Most existing HMTL methods usually solve either scenario where all tasks reside in the same input (feature) space yet unnecessarily the consistent output (label) space or scenario where their input (feature) spaces are heterogeneous while the output (label) space is consistent. However, to the best of our knowledge, there is limited study on twofold heterogeneous MTL (THMTL) scenario where the input and the output spaces are both inconsistent or heterogeneous. In order to handle this complicated scenario, in this paper, we design a simple and effective multi-task adaptive learning (MTAL) network to learn multiple tasks in such THMTL setting. Specifically, we explore and utilize the inherent relationship between tasks for knowledge sharing from similar convolution kernels in individual layers of the MTAL network. Then in order to realize the sharing, we weightedly aggregate any pair of convolutional kernels with their similarity greater than some threshold $\rho$, consequently, our model effectively performs cross-task learning while suppresses the intra-redundancy of the entire network. Finally, we conduct end-to-end training. Our experimental results demonstrate the effectiveness of our method in comparison with the state-of-the-art counterparts.
• Abstract（参考訳）: 不均質なマルチタスク学習(HMTL)はマルチタスク学習(MTL)において重要なトピックである。 既存のほとんどのHMTL法は、全てのタスクが同じ入力(ラベル)空間に存在するが、必要のない一貫した出力(ラベル)空間またはそれらの入力(ラベル)空間が不均一であるシナリオを解決している。 しかし,我々の知る限りでは,入力空間と出力空間が不整合あるいは不均一であるような2次元不均質mtl(thmtl)シナリオは限定的である。 本稿では,この複雑なシナリオに対処するために,マルチタスク適応学習(mtal,multi-task adaptive learning)ネットワークを設計し,thmtl設定で複数のタスクを学習する。 特に,mtalネットワークの各層における類似した畳み込みカーネルからの知識共有のためのタスク間の固有関係を探索し,活用する。 そして、共有を実現するために、任意の対の畳み込みカーネルを、閾値$\rho$よりも大きな類似度で重み付けて集約し、ネットワーク全体の冗長性を抑えつつ、効果的にクロスタスク学習を行う。 最後に、エンドツーエンドのトレーニングを行います。 本手法の有効性を実例と比較し,本手法の有効性を実証した。

関連論文リスト

• SGW-based Multi-Task Learning in Vision Tasks [8.459976488960269]
  データセットの規模が拡大し、タスクの複雑さが増すにつれ、知識の共有はますます困難になってきている。 情報ボトルネック知識抽出モジュール(KEM)を提案する。 このモジュールは,情報の流れを制約することでタスク間干渉を減らすことを目的としており,計算複雑性を低減する。
  論文  参考訳（メタデータ） (2024-10-03T13:56:50Z)
• Joint-Task Regularization for Partially Labeled Multi-Task Learning [30.823282043129552]
  機械学習分野ではマルチタスク学習がますます人気になっているが、その実用性は大規模ラベル付きデータセットの必要性によって妨げられている。 本稿では, クロスタスク関係を利用して, 全タスクを1つのジョイントタスク潜在空間で同時に正規化する直感的手法であるジョイントタスク正規化(JTR)を提案する。
  論文  参考訳（メタデータ） (2024-04-02T14:16:59Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• DenseMTL: Cross-task Attention Mechanism for Dense Multi-task Learning [18.745373058797714]
  本稿では,相互に相互にタスクを交換するマルチタスク学習アーキテクチャを提案する。 我々は3つのマルチタスク・セットアップにまたがって広範な実験を行い、合成および実世界のベンチマークにおいて競合するベースラインと比較して、我々のアプローチの利点を示している。
  論文  参考訳（メタデータ） (2022-06-17T17:59:45Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
  マルチタスク学習の研究はコミュニティから大きな注目を集めている。 目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。 従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。 本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。 さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T11:57:18Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• Boosting Share Routing for Multi-task Learning [0.12891210250935145]
  マルチタスク学習(MTL)は、マルチタスク監視信号に含まれる知識をフル活用して、全体的なパフォーマンスを向上させることを目的としている。 複数のタスクの知識を適切に共有する方法は、MTLにとってオープンな問題である。 本稿では,MTNAS(Multi-Task Neural Architecture Search)と呼ばれる汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-01T12:37:19Z)
• MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning [82.62433731378455]
  特定のスケールで高い親和性を持つタスクは、他のスケールでこの動作を維持することが保証されていないことを示す。 本稿では,この発見に基づく新しいアーキテクチャ MTI-Net を提案する。
  論文  参考訳（メタデータ） (2020-01-19T21:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。