論文の概要: DynaShare: Task and Instance Conditioned Parameter Sharing for Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2305.17305v1
• Date: Fri, 26 May 2023 23:43:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 20:34:20.169193
• Title: DynaShare: Task and Instance Conditioned Parameter Sharing for Multi-Task Learning
• Title（参考訳）: DynaShare:マルチタスク学習のためのタスクとインスタンス条件付きパラメータ共有
• Authors: Elahe Rahimian, Golara Javadi, Frederick Tung, Gabriel Oliveira
• Abstract要約: マルチタスク学習のための新しいパラメータ共有手法を提案する。 本稿では,タスクと入力インスタンスの両方に基づいて,ネットワークのどの部分をアクティブにするかを動的に決定する。 提案手法は,個別入力インスタンスの粗い層選択とゲーティングユニットのためのタスク固有のポリシーからなる階層的ゲーティングポリシーを学習する。
• 参考スコア（独自算出の注目度）: 11.955637263520492
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task networks rely on effective parameter sharing to achieve robust generalization across tasks. In this paper, we present a novel parameter sharing method for multi-task learning that conditions parameter sharing on both the task and the intermediate feature representations at inference time. In contrast to traditional parameter sharing approaches, which fix or learn a deterministic sharing pattern during training and apply the same pattern to all examples during inference, we propose to dynamically decide which parts of the network to activate based on both the task and the input instance. Our approach learns a hierarchical gating policy consisting of a task-specific policy for coarse layer selection and gating units for individual input instances, which work together to determine the execution path at inference time. Experiments on the NYU v2, Cityscapes and MIMIC-III datasets demonstrate the potential of the proposed approach and its applicability across problem domains.
• Abstract（参考訳）: マルチタスクネットワークは、タスク間の堅牢な一般化を達成するために効果的なパラメータ共有に依存している。 本稿では,タスクと中間特徴表現の両方を推論時にパラメータ共有するマルチタスク学習のための新しいパラメータ共有手法を提案する。 従来のパラメータ共有アプローチとは対照的に,トレーニング中の決定論的共有パターンを修正あるいは学習し,推論中のすべての例に同じパターンを適用し,タスクと入力インスタンスの両方に基づいてネットワークのどの部分を活性化すべきかを動的に決定する。 提案手法は,個々の入力インスタンスに対する粗層選択とゲーティング単位のためのタスク固有のポリシーで構成された階層的ゲーティングポリシを学習し,推論時に実行経路を決定する。 NYU v2、Cityscapes、MIMIC-IIIデータセットの実験は、提案されたアプローチの可能性と問題領域を越えた適用性を示している。

関連論文リスト

• Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [70.96345405979179]
  オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。 タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。 本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
  論文  参考訳（メタデータ） (2024-11-02T05:49:14Z)
• RepVF: A Unified Vector Fields Representation for Multi-task 3D Perception [64.80760846124858]
  本稿では,様々な知覚タスクの表現を調和させる新しい統一表現RepVFを提案する。 RepVFは、ベクトル場を通じてシーン内の異なるターゲットの構造を特徴付け、シングルヘッドでマルチタスクの学習モデルを可能にする。 RepVF 上に構築された RFTR は,タスク間の固有性を利用したネットワークである。
  論文  参考訳（メタデータ） (2024-07-15T16:25:07Z)
• PaCo: Parameter-Compositional Multi-Task Reinforcement Learning [44.43196786555784]
  これらの課題に対処するために,パラメータ合成アプローチ(PaCo)を導入する。 すべての単一タスクに対するポリシーはこの部分空間にあり、学習された集合と補間することで構成できる。 メタワールドベンチマークの最先端性能を実証し,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-10-21T01:00:10Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• On the relationship between disentanglement and multi-task learning [62.997667081978825]
  ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。 マルチタスクニューラルネットワークトレーニングの過程において, 絡み合いが自然に現れることを示す。
  論文  参考訳（メタデータ） (2021-10-07T14:35:34Z)
• Rethinking Hard-Parameter Sharing in Multi-Task Learning [20.792654758645302]
  マルチタスク学習(MTL)におけるハードパラメータ共有により、タスクはモデルのパラメータの一部を共有でき、ストレージコストを低減し、予測精度を向上させることができる。 共通の共有プラクティスは、タスク毎に別々のトップレイヤを使用しながら、タスク間でディープニューラルネットワークのボトムレイヤを共有することだ。 異なるボトム層パラメータを使用することで、一般的なプラクティスよりも大幅にパフォーマンスが向上する可能性がある。
  論文  参考訳（メタデータ） (2021-07-23T17:26:40Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Recurrent Interaction Network for Jointly Extracting Entities and Classifying Relations [45.79634026256055]
  対話を動的に学習できるマルチタスク学習モデルを設計する。 2つの実世界のデータセットに関する実証的研究により、提案モデルの優位性が確認された。
  論文  参考訳（メタデータ） (2020-05-01T01:03:16Z)
• Multi-Task Reinforcement Learning with Soft Modularization [25.724764855681137]
  マルチタスク学習は強化学習において非常に難しい問題である。 この最適化問題を緩和するために,ポリシー表現に明示的なモジュール化手法を導入する。 提案手法は,強いベースライン上でのサンプリング効率と性能を,大きなマージンで向上することを示す。
  論文  参考訳（メタデータ） (2020-03-30T17:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。