Fugu-MT 論文翻訳(概要): Learning to Branch for Multi-Task Learning

論文の概要: Learning to Branch for Multi-Task Learning

arxiv url: http://arxiv.org/abs/2006.01895v2
Date: Tue, 9 Jun 2020 05:18:55 GMT
ステータス: 処理完了
システム内更新日: 2022-11-25 23:20:00.897266
Title: Learning to Branch for Multi-Task Learning
Title（参考訳）: マルチタスク学習のための分岐への学習
Authors: Pengsheng Guo, Chen-Yu Lee, Daniel Ulbricht
Abstract要約: ネットワーク内の共有や分岐の場所を学習するマルチタスク学習アルゴリズムを提案する。本稿では,木分岐操作をガムベル・ソフトマックスサンプリング手法として用いる新しい木構造設計空間を提案する。
参考スコア（独自算出の注目度）: 12.49373126819798
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Training multiple tasks jointly in one deep network yields reduced latency during inference and better performance over the single-task counterpart by sharing certain layers of a network. However, over-sharing a network could erroneously enforce over-generalization, causing negative knowledge transfer across tasks. Prior works rely on human intuition or pre-computed task relatedness scores for ad hoc branching structures. They provide sub-optimal end results and often require huge efforts for the trial-and-error process. In this work, we present an automated multi-task learning algorithm that learns where to share or branch within a network, designing an effective network topology that is directly optimized for multiple objectives across tasks. Specifically, we propose a novel tree-structured design space that casts a tree branching operation as a gumbel-softmax sampling procedure. This enables differentiable network splitting that is end-to-end trainable. We validate the proposed method on controlled synthetic data, CelebA, and Taskonomy.
Abstract（参考訳）: 1つのディープネットワークで複数のタスクを共同でトレーニングすると、推論中のレイテンシが減少し、ネットワークの特定のレイヤを共有することで、シングルタスクのタスクよりもパフォーマンスが向上する。しかし、ネットワークの過度な共有は誤って一般化を強制し、タスク間で負の知識転送を引き起こす可能性がある。先行研究は、アドホック分岐構造に対する人間の直感や事前計算されたタスク関連性スコアに依存している。それらは準最適結果を提供し、しばしば試行錯誤プロセスに多大な努力を必要とする。本研究では,タスク間の複数の目的に対して直接最適化された効率的なネットワークトポロジを設計し,ネットワーク内での共有や分岐の場所を学習するマルチタスク学習アルゴリズムを提案する。具体的には,木分岐操作をガムベルソフトマックスサンプリング手順としてキャスティングする新しい木構造設計空間を提案する。これにより、エンドツーエンドのトレーニングが可能なネットワーク分割が可能になる。提案手法を制御された合成データ,CelebA,Taskonomyで検証する。

関連論文リスト

ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
論文参考訳（メタデータ） (2023-10-23T12:11:13Z)
Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文参考訳（メタデータ） (2023-07-13T16:39:08Z)
Dynamic Neural Network for Multi-Task Learning Searching across Diverse Network Topologies [14.574399133024594]
多様なグラフトポロジを持つ複数のタスクに対して最適化された構造を探索する新しいMTLフレームワークを提案する。我々は、トポロジ的に多様なタスク適応構造を構築するために、読み出し/読み出し層を備えたDAGベースの制限付き中央ネットワークを設計する。
論文参考訳（メタデータ） (2023-03-13T05:01:50Z)
The Multiple Subnetwork Hypothesis: Enabling Multidomain Learning by Isolating Task-Specific Subnetworks in Feedforward Neural Networks [0.0]
我々は,未使用の重み付きネットワークがその後のタスクを学習するための方法論とネットワーク表現構造を同定する。提案手法を用いてトレーニングされたネットワークは,タスクのパフォーマンスを犠牲にすることなく,あるいは破滅的な忘れを伴わずに,複数のタスクを学習できることを示す。
論文参考訳（メタデータ） (2022-07-18T15:07:13Z)
DiSparse: Disentangled Sparsification for Multitask Model Compression [92.84435347164435]
DiSparseは、シンプルで効果的で、第一級のマルチタスクプルーニングとスパーストレーニングスキームである。実験の結果,様々な設定や設定において優れた性能を示した。
論文参考訳（メタデータ） (2022-06-09T17:57:46Z)
Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文参考訳（メタデータ） (2022-05-25T10:44:25Z)
PaRT: Parallel Learning Towards Robust and Transparent AI [4.160969852186451]
本稿では,堅牢で透明なAIのための並列学習手法を提案する。ディープニューラルネットワークは複数のタスクで並列にトレーニングされ、各タスクはネットワークリソースのサブセットでのみトレーニングされる。ネットワークは、共有表現を通じて、他のタスクのタスクから学習した知識を実際に利用していることを示す。
論文参考訳（メタデータ） (2022-01-24T09:03:28Z)
Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
論文参考訳（メタデータ） (2021-09-15T21:19:11Z)
Beneficial Perturbation Network for designing general adaptive artificial intelligence systems [14.226973149346886]
我々は、動的状況に対応するために、ネットワーク外、タスク依存バイアスユニットを付加した新しいタイプのディープニューラルネットワークを提案する。我々のアプローチはメモリ効率が高く、パラメータ効率が高く、多くのタスクに対応でき、様々なタスクやドメインで最先端のパフォーマンスを実現しています。
論文参考訳（メタデータ） (2020-09-27T01:28:10Z)
Routing Networks with Co-training for Continual Learning [5.957609459173546]
連続学習のためのスパースルーティングネットワークを提案する。各入力に対して、これらのネットワークアーキテクチャは専門家のネットワークを介して異なる経路を活性化する。実際に,協調学習と呼ぶルーティングネットワークのための新しいトレーニング手法を開発する必要がある。
論文参考訳（メタデータ） (2020-09-09T15:58:51Z)
Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文参考訳（メタデータ） (2020-07-24T14:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。