論文の概要: Emerging Relation Network and Task Embedding for Multi-Task Regression Problems

• arxiv url: http://arxiv.org/abs/2004.14034v1
• Date: Wed, 29 Apr 2020 09:02:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 10:17:28.274220
• Title: Emerging Relation Network and Task Embedding for Multi-Task Regression Problems
• Title（参考訳）: マルチタスク回帰問題に対する創発的関係ネットワークとタスク埋め込み
• Authors: Jens Schreiber, Bernhard Sick
• Abstract要約: マルチタスク学習(mtl)は、コンピュータビジョンと自然言語処理の多くの応用において最先端の結果を提供する。 この記事では、以下に示すmtlアーキテクチャと重要なmtlアーキテクチャの比較研究を紹介する。 我々は,スライトスネットワークの拡張と見なせる新興関係ネットワーク(ern)と呼ばれる新しいmtlアーキテクチャを導入する。
• 参考スコア（独自算出の注目度）: 5.953831950062808
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning (mtl) provides state-of-the-art results in many applications of computer vision and natural language processing. In contrast to single-task learning (stl), mtl allows for leveraging knowledge between related tasks improving prediction results on the main task (in contrast to an auxiliary task) or all tasks. However, there is a limited number of comparative studies on applying mtl architectures for regression and time series problems taking recent advances of mtl into account. An interesting, non-linear problem is the forecast of the expected power generation for renewable power plants. Therefore, this article provides a comparative study of the following recent and important mtl architectures: Hard parameter sharing, cross-stitch network, sluice network (sn). They are compared to a multi-layer perceptron model of similar size in an stl setting. Additionally, we provide a simple, yet effective approach to model task specific information through an embedding layer in an multi-layer perceptron, referred to as task embedding. Further, we introduce a new mtl architecture named emerging relation network (ern), which can be considered as an extension of the sluice network. For a solar power dataset, the task embedding achieves the best mean improvement with 14.9%. The mean improvement of the ern and the sn on the solar dataset is of similar magnitude with 14.7% and 14.8%. On a wind power dataset, only the ern achieves a significant improvement of up to 7.7%. Results suggest that the ern is beneficial when tasks are only loosely related and the prediction problem is more non-linear. Contrary, the proposed task embedding is advantageous when tasks are strongly correlated. Further, the task embedding provides an effective approach with reduced computational effort compared to other mtl architectures.
• Abstract（参考訳）: マルチタスク学習(mtl)は、コンピュータビジョンと自然言語処理の多くの応用において最先端の結果を提供する。 シングルタスク学習(stl)とは対照的に、mtlは(補助タスクとは対照的に)メインタスクの予測結果を改善する関連するタスク間の知識を活用することができる。 しかし、最近のmtlの進歩を考慮した回帰問題や時系列問題に対するmtlアーキテクチャの適用に関する比較研究は限られている。 興味深い非線形問題は、再生可能発電の期待発電予測である。 そこで本論文では,近年重要かつ重要なmtlアーキテクチャであるハードパラメータ共有,クロススティッチネットワーク,スライスネットワーク(sn)を比較した。 これらは、stl設定で同様の大きさの多層パーセプトロンモデルと比較される。 さらに、タスク埋め込みと呼ばれる多層パーセプトロン内の埋め込み層を通してタスク固有の情報をモデル化する、シンプルで効果的なアプローチを提供する。 さらに,スライトスネットワークの拡張と考えられる新興関係ネットワーク(ern)と呼ばれる新しいmtlアーキテクチャを導入する。 太陽エネルギーのデータセットでは、タスクの埋め込みは14.9%で最高の平均的改善を達成する。 太陽データセットにおけるernとsnの平均的な改善は14.7%と14.8%である。 風力発電のデータセットでは、ernのみが7.7%の大幅な改善を達成している。 その結果,タスクがゆるやかに関連し,予測問題がより非線形である場合,ernは有益であることが示唆された。 対照的に、タスクが強く相関している場合には、提案タスクの埋め込みが有利である。 さらに、タスク埋め込みは、他のmtlアーキテクチャと比較して計算労力を削減できる効果的なアプローチを提供する。

関連論文リスト

• Cross-Task Affinity Learning for Multitask Dense Scene Predictions [5.939164722752263]
  マルチタスク学習(MTL)は,複数のタスクを同時に予測する能力で注目されている。 マルチタスクネットワークにおけるタスク改善を強化する軽量フレームワークであるクロスタスク親和性学習(CTAL)モジュールを紹介する。 以上の結果から,CNNとトランスフォーマーの両バックボーンに対して,シングルタスク学習よりもはるかに少ないパラメータを用いて,最先端のMTL性能を実証した。
  論文  参考訳（メタデータ） (2024-01-20T05:31:47Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Multi-task neural networks by learned contextual inputs [0.0]
  完全に共有されたニューラルネットワークと、トレーニング可能なタスクパラメータを含む拡張入力ベクトルに基づくマルチタスク学習アーキテクチャである。 このアーキテクチャは、低次元のタスクパラメータ空間を促進する強力なタスク機構によって興味深い。 アーキテクチャのパフォーマンスは、10つのデータセット上の類似のニューラルネットワークアーキテクチャと比較される。
  論文  参考訳（メタデータ） (2023-03-01T19:25:52Z)
• Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search [96.31315520244605]
  Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。 Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。 わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2022-04-12T16:46:06Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• On-edge Multi-task Transfer Learning: Model and Practice with Data-driven Task Allocation [20.20889051697198]
  マルチタスク・トランスファー・ラーニング(MTL)におけるタスク・アロケーションは,NP完全Knapsack問題の変種であることを示す。 我々は,データ駆動型協調作業割当(DCTA)アプローチを提案し,高い計算効率でTATIMを解く。 我々のDCTAは処理時間の3.24倍を削減し、TATIMを解く際の最先端技術と比較して48.4%の省エネを図っている。
  論文  参考訳（メタデータ） (2021-07-06T08:24:25Z)
• Multi-task Over-the-Air Federated Learning: A Non-Orthogonal Transmission Approach [52.85647632037537]
  複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。 収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2021-06-27T13:09:32Z)
• Conditionally Adaptive Multi-Task Learning: Improving Transfer Learning in NLP Using Fewer Parameters & Less Data [5.689320790746046]
  マルチタスク学習(MTL)ネットワークは、異なるタスク間で学習知識を伝達するための有望な方法として登場した。 しかし、MTLは、低リソースタスクへの過度な適合、破滅的な忘れ込み、負のタスク転送といった課題に対処しなければならない。 本稿では,新しい条件付アテンション機構とタスク条件付きモジュール群からなるトランスフォーマーアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-09-19T02:04:34Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)
• Deeper Task-Specificity Improves Joint Entity and Relation Extraction [0.0]
  マルチタスク学習(MTL)は、関連するタスクを学習するための効果的な方法であるが、MTLモデルを設計するには、どのパラメータをタスク固有のものにするかを決定する必要がある。 本稿では,従来の作業よりも深いタスク特異性を実現するニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-15T18:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。