論文の概要: Multi-Task Structural Learning using Local Task Similarity induced Neuron Creation and Removal

• arxiv url: http://arxiv.org/abs/2305.00441v1
• Date: Sun, 30 Apr 2023 10:07:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 15:15:59.476495
• Title: Multi-Task Structural Learning using Local Task Similarity induced Neuron Creation and Removal
• Title（参考訳）: 局所タスク類似性によるニューロン生成と除去を用いたマルチタスク構造学習
• Authors: Naresh Kumar Gurulingan, Bahram Zonooz, Elahe Arani
• Abstract要約: マルチタスク学習は、タスク間の正の移動を最大化することによって、一般化を改善する可能性がある。 マルチタスクアーキテクチャとそのパラメータを同時に学習するtextitMulti-Task Structure Learning (MTSL)を提案する。 実験の結果,MTSLは様々なベースラインを持つ競争一般化を実現し,アウト・オブ・ディストリビューションデータに対するロバスト性を向上させることが示された。
• 参考スコア（独自算出の注目度）: 12.525959293825318
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-task learning has the potential to improve generalization by maximizing positive transfer between tasks while reducing task interference. Fully achieving this potential is hindered by manually designed architectures that remain static throughout training. On the contrary, learning in the brain occurs through structural changes that are in tandem with changes in synaptic strength. Thus, we propose \textit{Multi-Task Structural Learning (MTSL)} that simultaneously learns the multi-task architecture and its parameters. MTSL begins with an identical single-task network for each task and alternates between a task-learning phase and a structural-learning phase. In the task learning phase, each network specializes in the corresponding task. In each of the structural learning phases, starting from the earliest layer, locally similar task layers first transfer their knowledge to a newly created group layer before being removed. MTSL then uses the group layer in place of the corresponding removed task layers and moves on to the next layers. Our empirical results show that MTSL achieves competitive generalization with various baselines and improves robustness to out-of-distribution data.
• Abstract（参考訳）: マルチタスク学習は、タスク間のポジティブな転送を最大化し、タスクの干渉を減らすことで、一般化を改善する可能性がある。 この可能性を完全に達成することは、トレーニングを通じて静的な手動設計のアーキテクチャによって妨げられます。 逆に、脳内での学習は、シナプス強度の変化と直交する構造変化によって起こる。 そこで我々は,マルチタスクアーキテクチャとそのパラメータを同時に学習する \textit{multi-task structural learning (mtsl)" を提案する。 MTSLはタスクごとに同一の単一タスクネットワークから始まり、タスク学習フェーズと構造学習フェーズを交互に切り替える。 タスク学習フェーズでは、各ネットワークは対応するタスクを専門とする。 最初期のレイヤから始まる各構造学習フェーズでは、ローカルに類似したタスク層が、最初にその知識を新しく作成されたグループ層に転送し、削除する。 MTSLは、対応する削除されたタスク層の代わりにグループ層を使用し、次のレイヤに移動します。 実験の結果,mtslは様々なベースラインで競争的一般化を達成し,分散データのロバスト性が向上した。

関連論文リスト

• Dynamic Transformer Architecture for Continual Learning of Multimodal Tasks [27.59758964060561]
  トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換える傾向にある。 連続学習(CL)は、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、ソリューションとして現れる。 本稿では,視覚と言語の両方に関わる学習タスクに着目したトランスフォーマーベースのCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-27T03:03:30Z)
• MmAP : Multi-modal Alignment Prompt for Cross-domain Multi-task Learning [29.88567810099265]
  マルチタスク学習は複数の相関タスクを同時に訓練するように設計されている。 この課題に対処するために、デコーダフリーの視覚言語モデルCLIPを統合する。 CLIPのためのマルチモーダルアライメント・プロンプト(MmAP)を提案する。
  論文  参考訳（メタデータ） (2023-12-14T03:33:02Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning [50.756991828015316]
  マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。 本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
  論文  参考訳（メタデータ） (2022-03-24T17:43:12Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• Learning Task Decomposition with Ordered Memory Policy Network [73.3813423684999]
  OMPN(Ordered Memory Policy Network)を提案し、デモから学習することでサブタスク階層を発見する。 ompnは部分的に観測可能な環境に適用でき、高いタスク分解性能を達成できる。 私たちの視覚化は、サブタスク階層がモデルに出現できることを確認します。
  論文  参考訳（メタデータ） (2021-03-19T18:13:35Z)
• Continual Learning in Low-rank Orthogonal Subspaces [86.36417214618575]
  連続学習(CL)では、学習者は一連のタスクに直面して次々に到着し、学習経験が終わるとすべてのタスクを覚えることが目的である。 CLの以前の技術は、タスク間の干渉を減らすためにエピソードメモリ、パラメータ正規化、ネットワーク構造を使用していたが、最終的には、全てのアプローチが共同ベクトル空間で異なるタスクを学習する。 干渉を最小限に抑えるために互いに直交する異なる(低ランクな)ベクトル部分空間でタスクを学習することを提案する。
  論文  参考訳（メタデータ） (2020-10-22T12:07:43Z)
• Learning to Branch for Multi-Task Learning [12.49373126819798]
  ネットワーク内の共有や分岐の場所を学習するマルチタスク学習アルゴリズムを提案する。 本稿では,木分岐操作をガムベル・ソフトマックスサンプリング手法として用いる新しい木構造設計空間を提案する。
  論文  参考訳（メタデータ） (2020-06-02T19:23:21Z)
• Learned Weight Sharing for Deep Multi-Task Learning by Natural Evolution Strategy and Stochastic Gradient Descent [0.0]
  本稿では,共有重みとタスク固有の階層間の割り当てを学習するアルゴリズムを提案する。 学習は自然進化戦略と勾配降下の組み合わせによって行われる。 最終的な結果は、重みを共有しながら独立した推論を可能にするタスク固有のネットワークである。
  論文  参考訳（メタデータ） (2020-03-23T10:21:44Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。