論文の概要: ParaDiS: Parallelly Distributable Slimmable Neural Networks
- arxiv url: http://arxiv.org/abs/2110.02724v1
- Date: Wed, 6 Oct 2021 13:17:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-07 14:36:42.958944
- Title: ParaDiS: Parallelly Distributable Slimmable Neural Networks
- Title（参考訳）: paradis:並列分散可能なスリム化可能なニューラルネットワーク
- Authors: Alexey Ozerov, Anne Lambert, Suresh Kirthi Kumaraswamy
- Abstract要約: 本稿では, 並列分散可能なスリムブルニューラルネットワーク(ParaDiS)を導入する。
ParaDiSネットワークは、複数のマルチデバイス配布可能な構成またはスイッチで構成され、それら間でパラメータを強く共有する。
そこで,ParaDiSスイッチは個々のモデル,すなわち同一構造の分散モデルを個別に訓練した場合と同等あるいはより高精度であることを示す。
- 参考スコア（独自算出の注目度）: 2.997206383342421
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When several limited power devices are available, one of the most efficient
ways to make profit of these resources, while reducing the processing latency
and communication load, is to run in parallel several neural sub-networks and
to fuse the result at the end of processing. However, such a combination of
sub-networks must be trained specifically for each particular configuration of
devices (characterized by number of devices and their capacities) which may
vary over different model deployments and even within the same deployment. In
this work we introduce parallelly distributable slimmable (ParaDiS) neural
networks that are splittable in parallel among various device configurations
without retraining. While inspired by slimmable networks allowing instant
adaptation to resources on just one device, ParaDiS networks consist of several
multi-device distributable configurations or switches that strongly share the
parameters between them. We evaluate ParaDiS framework on MobileNet v1 and
ResNet-50 architectures on ImageNet classification task. We show that ParaDiS
switches achieve similar or better accuracy than the individual models, i.e.,
distributed models of the same structure trained individually. Moreover, we
show that, as compared to universally slimmable networks that are not
distributable, the accuracy of distributable ParaDiS switches either does not
drop at all or drops by a maximum of 1 % only in the worst cases.
- Abstract（参考訳）: いくつかの限られた電力デバイスが利用可能である場合、処理遅延と通信負荷を低減しつつ、これらのリソースの利益を得る最も効率的な方法の1つは、複数のニューラルネットワークで並行して実行し、処理の最後に結果を融合させることである。
しかしながら、このようなサブネットワークの組み合わせは、異なるモデルデプロイメントや同じデプロイメント内でも異なるデバイス(デバイスの数とその能力によって特徴付けられる)の特定の構成ごとに、特別にトレーニングされなければならない。
本研究では,様々なデバイス構成に並列に分割可能な並列分散スリムブルニューラルネットワーク(ParaDiS)を提案する。
1つのデバイスで即座にリソースに適応できるスリムなネットワークにインスパイアされたが、paradisネットワークは複数のマルチデバイス配布可能な構成またはそれらの間のパラメータを強く共有するスイッチで構成されている。
我々は,MobileNet v1 上の ParaDiS フレームワークと ImageNet 分類タスク上の ResNet-50 アーキテクチャを評価した。
パラディススイッチは個々のモデル、すなわち、個別に訓練された同じ構造の分散モデルと同等または優れた精度が得られることを示す。
さらに, 分散性のないネットワークと比較して, 分配可能なParaDiSスイッチの精度が低下しないか, 最悪の場合のみ最大で1%低下することを示す。
関連論文リスト
- Vertical Layering of Quantized Neural Networks for Heterogeneous
Inference [57.42762335081385]
量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。
理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
論文 参考訳（メタデータ） (2022-12-10T15:57:38Z) - On Optimizing the Communication of Model Parallelism [74.15423270435949]
大規模モデル並列ディープラーニング(DL)における新しい重要なコミュニケーションパターンについて検討する。
クロスメッシュリシャーディングでは、シャードテンソルをソースデバイスメッシュから宛先デバイスメッシュに送信する必要がある。
本稿では、効率的な放送ベースの通信システムと「重複しやすい」パイプラインスケジュールという、クロスメシュ・リシャーディングに対処するための2つのコントリビューションを提案する。
論文 参考訳（メタデータ） (2022-11-10T03:56:48Z) - DRESS: Dynamic REal-time Sparse Subnets [7.76526807772015]
我々は、新しいトレーニングアルゴリズム、Dynamic REal-time Sparse Subnets (DRESS)を提案する。
DRESSは、同じバックボーンネットワークから行ベースの非構造空間を通して複数のサブネットワークをサンプリングし、重み付けされた損失と並行してこれらのサブネットワークを共同で訓練する。
公開ビジョンデータセットの実験では、DRESSは最先端のサブネットワークよりもはるかに精度が高いことが示されている。
論文 参考訳（メタデータ） (2022-07-01T22:05:07Z) - SuperShaper: Task-Agnostic Super Pre-training of BERT Models with
Variable Hidden Dimensions [2.8583189395674653]
SuperShaper は NLU モデルのタスクに依存しない事前学習手法である。
異なる形状で多数のトランスフォーマーモデルを同時に事前訓練する。
SuperShaperは、精度とモデルサイズを効果的にトレードオフするネットワークを発見する。
論文 参考訳（メタデータ） (2021-10-10T05:44:02Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。
低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
論文 参考訳（メタデータ） (2021-06-16T15:57:51Z) - MutualNet: Adaptive ConvNet via Mutual Learning from Different Model
Configurations [51.85020143716815]
MutualNetは、リソース制約の多様なセットで実行できる単一のネットワークを訓練するために提案します。
提案手法は,様々なネットワーク幅と入力解像度を持つモデル構成のコホートを訓練する。
MutualNetは、さまざまなネットワーク構造に適用できる一般的なトレーニング方法論です。
論文 参考訳（メタデータ） (2021-05-14T22:30:13Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Joslim: Joint Widths and Weights Optimization for Slimmable Neural
Networks [37.09353669633368]
本稿では,スリム化可能なネットワークの幅構成と重みの両面での協調最適化を実現するための汎用フレームワークを提案する。
本フレームワークは,従来およびNASをベースとしたスリム化可能なメソッドを特殊なケースとして仮定し,既存のメソッドよりも柔軟性を向上する。
ImageNetデータセットの1.7%と8%の改善は、FLOPとメモリフットプリントを考慮してMobileNetV2で達成できる。
論文 参考訳（メタデータ） (2020-07-23T02:05:03Z) - Switchable Precision Neural Networks [35.2752928147013]
複数の量子化レベルで動作可能な共有ネットワークをトレーニングするために,スイッチブル精密ニューラルネットワーク(SP-Nets)を提案する。
実行時に、ネットワークは、インスタントメモリ、レイテンシ、消費電力、精度要求に応じて、オンザフライで精度を調整することができる。
論文 参考訳（メタデータ） (2020-02-07T14:43:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。