論文の概要: Tackling Multiple Tasks with One Single Learning Framework

• arxiv url: http://arxiv.org/abs/2206.06322v1
• Date: Sun, 29 May 2022 18:24:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-19 23:33:16.159091
• Title: Tackling Multiple Tasks with One Single Learning Framework
• Title（参考訳）: 1つの学習フレームワークで複数のタスクに取り組む
• Authors: Michael X. Yang
• Abstract要約: Deep Multi-Task Learning (DMTL)は機械学習コミュニティで広く研究され、幅広い現実世界のアプリケーションに適用されている。 本稿では,ニューラルネットワーク階層の最適共有を探索するために,HTAN(Temporal Temporal Activation Network)と呼ばれるフレキシブルで効率的なフレームワークを提案する。 さらに, DMTL性能を向上させるために, SPDNet を変調した関数正規化と逆学習を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Multi-Task Learning (DMTL) has been widely studied in the machine learning community and applied to a broad range of real-world applications. Searching for the optimal knowledge sharing in DMTL is more challenging for sequential learning problems, as the task relationship will change in the temporal dimension. In this paper, we propose a flexible and efficient framework called HierarchicalTemporal Activation Network (HTAN) to simultaneously explore the optimal sharing of the neural network hierarchy (hierarchical axis) and the time-variant task relationship (temporal axis). HTAN learns a set of time-variant activation functions to encode the task relation. A functional regularization implemented by a modulated SPDNet and adversarial learning is further proposed to enhance the DMTL performance. Comprehensive experiments on several challenging applications demonstrate that our HTAN-SPD framework outperforms SOTA methods significantly in sequential DMTL.
• Abstract（参考訳）: Deep Multi-Task Learning (DMTL)は機械学習コミュニティで広く研究され、幅広い現実世界のアプリケーションに適用されている。 DMTLにおける最適知識共有の探索は、時間次元においてタスク関係が変化するため、逐次学習問題にとってより困難である。 本稿では、ニューラルネットワーク階層(階層軸)と時間変動タスク関係(時間軸)の最適共有を同時に検討する、階層的テンポラル活性化ネットワーク(HTAN)と呼ばれるフレキシブルで効率的なフレームワークを提案する。 HTANはタスク関係をエンコードする時間変動アクティベーション関数のセットを学習する。 さらに, DMTL性能を向上させるために, 変調SPDNetと逆学習による機能正規化を提案する。 HTAN-SPD フレームワークは逐次 DMTL において SOTA 手法よりも優れていることを示す。

関連論文リスト

• Variational Offline Multi-agent Skill Discovery [43.869625428099425]
  本稿では,サブグループレベルの抽象化と時間レベルの抽象化を同時に取得し,マルチエージェントスキルを形成するための2つの新しい自動エンコーダ方式を提案する。 提案手法はオフラインのマルチタスクデータに適用可能であり,検出したサブグループスキルは再トレーニングすることなく,関連するタスク間で伝達可能である。
  論文  参考訳（メタデータ） (2024-05-26T00:24:46Z)
• Dynamic Transformer Architecture for Continual Learning of Multimodal Tasks [27.59758964060561]
  トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換える傾向にある。 連続学習(CL)は、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、ソリューションとして現れる。 本稿では,視覚と言語の両方に関わる学習タスクに着目したトランスフォーマーベースのCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-27T03:03:30Z)
• RObotic MAnipulation Network (ROMAN) $\unicode{x2013}$ Hybrid Hierarchical Learning for Solving Complex Sequential Tasks [70.69063219750952]
  ロボットマニピュレーションネットワーク(ROMAN)のハイブリッド階層型学習フレームワークを提案する。 ROMANは、行動クローニング、模倣学習、強化学習を統合することで、タスクの汎用性と堅牢な障害回復を実現する。 実験結果から,これらの専門的な操作専門家の組織化と活性化により,ROMANは高度な操作タスクの長いシーケンスを達成するための適切なシーケンシャルなアクティベーションを生成することがわかった。
  論文  参考訳（メタデータ） (2023-06-30T20:35:22Z)
• Dynamic Neural Network for Multi-Task Learning Searching across Diverse Network Topologies [14.574399133024594]
  多様なグラフトポロジを持つ複数のタスクに対して最適化された構造を探索する新しいMTLフレームワークを提案する。 我々は、トポロジ的に多様なタスク適応構造を構築するために、読み出し/読み出し層を備えたDAGベースの制限付き中央ネットワークを設計する。
  論文  参考訳（メタデータ） (2023-03-13T05:01:50Z)
• Controllable Dynamic Multi-Task Architectures [92.74372912009127]
  本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。 本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
  論文  参考訳（メタデータ） (2022-03-28T17:56:40Z)
• Hierarchical Multi-Agent DRL-Based Framework for Joint Multi-RAT Assignment and Dynamic Resource Allocation in Next-Generation HetNets [21.637440368520487]
  本稿では,次世代無線ネットワーク(HetNets)における共同最適無線アクセス技術(RATs)の割り当てと電力割り当てによるコストアウェアダウンリンク総和率の問題について考察する。 本稿では,DeepRAT(DeepRAT)と呼ばれる階層型多エージェント深層強化学習(DRL)フレームワークを提案する。 特に、DeepRATフレームワークは、問題を2つの主要なステージに分解する: 単一エージェントのDeep Q Networkアルゴリズムを実装するRATs-EDs割り当てステージと、マルチエージェントのDeep Deterministic Policy Gradientを利用するパワー割り当てステージである。
  論文  参考訳（メタデータ） (2022-02-28T09:49:44Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• Multi-task Over-the-Air Federated Learning: A Non-Orthogonal Transmission Approach [52.85647632037537]
  複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。 収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2021-06-27T13:09:32Z)
• Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
  マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。 深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
  論文  参考訳（メタデータ） (2020-09-10T19:31:04Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)
• Gradient Surgery for Multi-Task Learning [119.675492088251]
  マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。 マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。 本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
  論文  参考訳（メタデータ） (2020-01-19T06:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。