論文の概要: muNet: Evolving Pretrained Deep Neural Networks into Scalable
Auto-tuning Multitask Systems
- arxiv url: http://arxiv.org/abs/2205.10937v1
- Date: Sun, 22 May 2022 21:54:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-29 16:46:58.666410
- Title: muNet: Evolving Pretrained Deep Neural Networks into Scalable
Auto-tuning Multitask Systems
- Title（参考訳）: muNet: トレーニング済みのディープニューラルネットワークをスケーラブルな自動チューニングマルチタスクシステムに進化させる
- Authors: Andrea Gesmundo and Jeff Dean
- Abstract要約: 今日の機械学習のほとんどの用途は、特定のタスクのスクラッチからモデルをトレーニングすることや、関連するタスクで事前訓練されたモデルから始めて、下流タスクで微調整することである。
本稿では、事前訓練されたディープニューラルネットワークの層をビルディングブロックとして利用し、任意のタスクを共同で解決できるMLシステムを構築する方法を提案する。
得られたシステムはクロスタスクの知識伝達を利用でき、破滅的な忘れ、勾配の干渉、負の伝達といったマルチタスクアプローチの共通の欠点に免疫を持つ。
- 参考スコア（独自算出の注目度）: 4.675744559395732
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most uses of machine learning today involve training a model from scratch for
a particular task, or sometimes starting with a model pretrained on a related
task and then fine-tuning on a downstream task. Both approaches offer limited
knowledge transfer between different tasks, time-consuming human-driven
customization to individual tasks and high computational costs especially when
starting from randomly initialized models. We propose a method that uses the
layers of a pretrained deep neural network as building blocks to construct an
ML system that can jointly solve an arbitrary number of tasks. The resulting
system can leverage cross tasks knowledge transfer, while being immune from
common drawbacks of multitask approaches such as catastrophic forgetting,
gradients interference and negative transfer. We define an evolutionary
approach designed to jointly select the prior knowledge relevant for each task,
choose the subset of the model parameters to train and dynamically auto-tune
its hyperparameters. Furthermore, a novel scale control method is employed to
achieve quality/size trade-offs that outperform common fine-tuning techniques.
Compared with standard fine-tuning on a benchmark of 10 diverse image
classification tasks, the proposed model improves the average accuracy by 2.39%
while using 47% less parameters per task.
- Abstract（参考訳）: 今日の機械学習のほとんどの用途は、特定のタスクのスクラッチからモデルをトレーニングすることや、関連するタスクで事前訓練されたモデルから始め、ダウンストリームタスクで微調整することを含む。
どちらのアプローチも、異なるタスク間の限られた知識の伝達、個人タスクへの人間主導のカスタマイズ、特にランダムに初期化されたモデルから始める場合の高い計算コストを提供する。
本稿では、事前訓練されたディープニューラルネットワークの層をビルディングブロックとして利用し、任意のタスクを共同で解決できるMLシステムを構築する方法を提案する。
得られたシステムはクロスタスクの知識伝達を利用でき、破滅的な忘れ、勾配の干渉、負の伝達といったマルチタスクアプローチの共通の欠点に免疫を持つ。
我々は、各タスクに関連する事前知識を共同で選択し、モデルパラメータのサブセットを選択してトレーニングし、ハイパーパラメータを動的に自動調整するように設計された進化的アプローチを定義する。
さらに、一般的な微調整技術に勝る品質/サイズトレードオフを達成するために、新たなスケール制御手法が採用されている。
10種類の画像分類タスクのベンチマークの標準的な微調整と比較して、提案モデルは平均精度を2.39%改善し、タスク毎のパラメータを47%削減した。
関連論文リスト
- AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳（メタデータ） (2023-10-04T04:26:33Z) - Multi-Objective Optimization for Sparse Deep Multi-Task Learning [0.0]
重み付きチェビシェフスキャラライゼーションを用いたディープニューラルネットワーク(DNN)のトレーニングのための多目的最適化アルゴリズムを提案する。
本研究の目的は,DNNモデルの持続可能性問題,特にDeep Multi-Taskモデルに焦点をあてることである。
論文 参考訳（メタデータ） (2023-08-23T16:42:27Z) - An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale
Multitask Learning Systems [4.675744559395732]
マルチタスク学習は、複数のタスクから学習できるモデルが知識伝達によってより良い品質と効率を達成すると仮定する。
最先端のMLモデルは、タスクごとに高いカスタマイズに依存し、タスクの数をスケールするのではなく、サイズとデータスケールを活用する。
本稿では,大規模マルチタスクモデルを生成でき,新しいタスクの動的かつ連続的な追加を支援する進化的手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T13:10:47Z) - A Dirichlet Process Mixture of Robust Task Models for Scalable Lifelong
Reinforcement Learning [11.076005074172516]
強化学習アルゴリズムは、生涯ストリーミング情報に直面すると、破滅的な忘れ物や干渉に容易に遭遇する。
本稿では,ネットワーク容量を動的に拡張し,新たな知識に適合する拡張寿命RL法を提案する。
提案手法は,拡張寿命の長いRLの実現に成功し,既存の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-05-22T09:48:41Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - Controllable Dynamic Multi-Task Architectures [92.74372912009127]
本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。
本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
論文 参考訳（メタデータ） (2022-03-28T17:56:40Z) - Combining Modular Skills in Multitask Learning [149.8001096811708]
モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。
この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。
ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
論文 参考訳（メタデータ） (2022-02-28T16:07:19Z) - Piggyback GAN: Efficient Lifelong Learning for Image Conditioned
Generation [48.31909975623379]
コンボリューションフィルタとデコンボリューションフィルタのセットを構築することで,現在のタスクを学習するパラメータ効率の高いフレームワークであるPiggyback GANを提案する。
現在のタスクでは,本モデルでは,パラメータ数が低いスタンドアロンモデルと同等の高次品質を実現している。
異なるドメインのさまざまな画像コンディショニング生成タスクで Piggyback GAN を検証します。
論文 参考訳（メタデータ） (2021-04-24T12:09:52Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳（メタデータ） (2020-07-24T14:44:46Z) - Dynamic Task Weighting Methods for Multi-task Networks in Autonomous
Driving Systems [10.625400639764734]
ディープマルチタスクネットワークは、自動運転システムに特に関心がある。
進化的メタラーニングとタスクベースの選択的バックプロパゲーションを組み合わせた新しい手法を提案する。
提案手法は,2タスクアプリケーションにおいて,最先端の手法よりも有意差がある。
論文 参考訳（メタデータ） (2020-01-07T18:54:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。