論文の概要: SortedNet: A Scalable and Generalized Framework for Training Modular Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2309.00255v3
• Date: Sat, 1 Jun 2024 08:04:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 21:00:32.658443
• Title: SortedNet: A Scalable and Generalized Framework for Training Modular Deep Neural Networks
• Title（参考訳）: SortedNet: モジュール型ディープニューラルネットワークをトレーニングするためのスケーラブルで汎用的なフレームワーク
• Authors: Mojtaba Valipour, Mehdi Rezagholizadeh, Hossein Rajabzadeh, Parsa Kavehzadeh, Marzieh Tahaei, Boxing Chen, Ali Ghodsi,
• Abstract要約: 我々は、ディープニューラルネットワーク(DNN)の固有のモジュラリティを活用するためにSortedNetを提案する。 SortedNetは、メインモデルのトレーニングと同時にサブモデルのトレーニングを可能にする。 一度に160台のサブモデルを訓練でき、オリジナルのモデルの性能の少なくとも96%を達成できる。
• 参考スコア（独自算出の注目度）: 30.069353400127046
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep neural networks (DNNs) must cater to a variety of users with different performance needs and budgets, leading to the costly practice of training, storing, and maintaining numerous user/task-specific models. There are solutions in the literature to deal with single dynamic or many-in-one models instead of many individual networks; however, they suffer from significant drops in performance, lack of generalization across different model architectures or different dimensions (e.g. depth, width, attention blocks), heavy model search requirements during training, and training a limited number of sub-models. To address these limitations, we propose SortedNet, a generalized and scalable training solution to harness the inherent modularity of DNNs. Thanks to a generalized nested architecture (which we refer as \textit{sorted} architecture in this paper) with shared parameters and its novel update scheme combining random sub-model sampling and a new gradient accumulation mechanism, SortedNet enables the training of sub-models simultaneously along with the training of the main model (without any significant extra training or inference overhead), simplifies dynamic model selection, customizes deployment during inference, and reduces the model storage requirement significantly. The versatility and scalability of SortedNet are validated through various architectures and tasks, including LLaMA, BERT, RoBERTa (NLP tasks), ResNet and MobileNet (image classification) demonstrating its superiority over existing dynamic training methods. For example, we introduce a novel adaptive self-speculative approach based on sorted-training to accelerate large language models decoding. Moreover, SortedNet is able to train 160 sub-models at once, achieving at least 96\% of the original model's performance.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、さまざまなパフォーマンスニーズと予算を持つさまざまなユーザに対して、トレーニングや保存、多数のユーザ/タスク固有のモデルのメンテナンスといったコストを要する。 多くの個々のネットワークではなく、単一の動的モデルやマルチインワンモデルを扱うという文献的な解決策があるが、性能の大幅な低下、異なるモデルアーキテクチャや異なる次元(例えば、深さ、幅、注意ブロック)での一般化の欠如、訓練中の重いモデルの探索要件、限られた数のサブモデルの訓練に悩まされている。 これらの制限に対処するため、DNNの固有のモジュラリティを活用するために、一般化されたスケーラブルなトレーニングソリューションであるSortedNetを提案する。 SortedNetは、一般的なネスト型アーキテクチャ(この論文では \textit{sorted} アーキテクチャと呼ばれている)と、ランダムなサブモデルサンプリングと新しい勾配蓄積機構を組み合わせた新しい更新スキームのおかげで、メインモデルのトレーニングと同時にサブモデルのトレーニングを可能にし、動的モデルの選択を単純化し、推論中のデプロイメントをカスタマイズし、モデルストレージの要求を大幅に低減します。 SortedNetの汎用性とスケーラビリティは、LLaMA、BERT、RoBERTa(NLPタスク)、ResNet、MobileNet(画像分類)など、様々なアーキテクチャやタスクを通じて検証され、既存の動的トレーニングメソッドよりも優れていることが示されている。 例えば,大規模言語モデルの復号化を促進するために,ソート学習に基づく適応型自己投機的手法を提案する。 さらに、SortedNetは160のサブモデルを一度に訓練することができ、オリジナルのモデルの性能の少なくとも96%を達成することができる。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Building Variable-sized Models via Learngene Pool [39.99697115082106]
  近年,Stitchable Neural Networks (SN-Net) が提案されている。 SN-Netはリソース制約の少ないモデルを構築するという課題に直面している。 本稿ではこれらの課題を克服するために,Leargen Poolと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-12-10T03:46:01Z)
• Subnetwork-to-go: Elastic Neural Network with Dynamic Training and Customizable Inference [16.564868336748503]
  本稿では,大規模ネットワークを訓練し,モデルサイズや複雑性の制約を考慮し,そのサブネットワークを柔軟に抽出する簡単な方法を提案する。 音源分離モデルによる実験結果から,提案手法は,異なるサブネットワークサイズと複雑度をまたいだ分離性能を効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2023-12-06T12:40:06Z)
• Generative Model for Models: Rapid DNN Customization for Diverse Tasks and Resource Constraints [28.983470365172057]
  NN-Factoryは、さまざまなエッジシナリオ用にカスタマイズされた軽量モデルを生成する、オールツーオールのフレームワークである。 NN-Factoryの主なコンポーネントは、異なるタスクを達成するために条件付きアクティベート可能な、事前訓練されたモジュールを備えたモジュラースーパーネットである。 NN-Factoryは、従来のモデルのカスタマイズアプローチよりも桁違いに高速で、数秒で高品質なタスクやリソース固有のモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-08-29T03:28:14Z)
• Stitchable Neural Networks [40.8842135978138]
  モデル展開のための新しいスケーラブルで効率的なフレームワークであるStitchable Neural Networks (SN-Net)を紹介する。 SN-Netは、アンカーをブロック/レイヤに分割し、単純な縫合層で縫合して、アンカーから別のアンカーへのアクティベーションをマッピングする。 ImageNet分類の実験では、SN-Netは、訓練された多くのネットワークよりも、オンパーまたはさらに優れたパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2023-02-13T18:37:37Z)
• Vertical Layering of Quantized Neural Networks for Heterogeneous Inference [57.42762335081385]
  量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。 理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
  論文  参考訳（メタデータ） (2022-12-10T15:57:38Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)
• Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
  トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。 低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:57:51Z)
• MutualNet: Adaptive ConvNet via Mutual Learning from Different Model Configurations [51.85020143716815]
  MutualNetは、リソース制約の多様なセットで実行できる単一のネットワークを訓練するために提案します。 提案手法は,様々なネットワーク幅と入力解像度を持つモデル構成のコホートを訓練する。 MutualNetは、さまざまなネットワーク構造に適用できる一般的なトレーニング方法論です。
  論文  参考訳（メタデータ） (2021-05-14T22:30:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。