論文の概要: Joslim: Joint Widths and Weights Optimization for Slimmable Neural Networks

• arxiv url: http://arxiv.org/abs/2007.11752v4
• Date: Wed, 30 Jun 2021 14:38:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 11:46:28.395884
• Title: Joslim: Joint Widths and Weights Optimization for Slimmable Neural Networks
• Title（参考訳）: Joslim: スリムブルニューラルネットワークのジョイント幅とウェイト最適化
• Authors: Ting-Wu Chin, Ari S. Morcos, Diana Marculescu
• Abstract要約: 本稿では,スリム化可能なネットワークの幅構成と重みの両面での協調最適化を実現するための汎用フレームワークを提案する。 本フレームワークは,従来およびNASをベースとしたスリム化可能なメソッドを特殊なケースとして仮定し,既存のメソッドよりも柔軟性を向上する。 ImageNetデータセットの1.7%と8%の改善は、FLOPとメモリフットプリントを考慮してMobileNetV2で達成できる。
• 参考スコア（独自算出の注目度）: 37.09353669633368
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Slimmable neural networks provide a flexible trade-off front between prediction error and computational requirement (such as the number of floating-point operations or FLOPs) with the same storage requirement as a single model. They are useful for reducing maintenance overhead for deploying models to devices with different memory constraints and are useful for optimizing the efficiency of a system with many CNNs. However, existing slimmable network approaches either do not optimize layer-wise widths or optimize the shared-weights and layer-wise widths independently, thereby leaving significant room for improvement by joint width and weight optimization. In this work, we propose a general framework to enable joint optimization for both width configurations and weights of slimmable networks. Our framework subsumes conventional and NAS-based slimmable methods as special cases and provides flexibility to improve over existing methods. From a practical standpoint, we propose Joslim, an algorithm that jointly optimizes both the widths and weights for slimmable nets, which outperforms existing methods for optimizing slimmable networks across various networks, datasets, and objectives. Quantitatively, improvements up to 1.7% and 8% in top-1 accuracy on the ImageNet dataset can be attained for MobileNetV2 considering FLOPs and memory footprint, respectively. Our results highlight the potential of optimizing the channel counts for different layers jointly with the weights for slimmable networks. Code available at https://github.com/cmu-enyac/Joslim.
• Abstract（参考訳）: 最小限のニューラルネットワークは、予測エラーと計算要求(浮動小数点演算数やFLOP数など)の間の柔軟なトレードオフフロントを単一のモデルと同じストレージ要求で提供する。 これらは、異なるメモリ制約を持つデバイスにモデルをデプロイするためのメンテナンスオーバーヘッドを減らすのに役立ち、多くのcnnを持つシステムの効率を最適化するのに役立ちます。 しかし、既存のスリム化可能なネットワークアプローチは、層幅を最適化しないか、共有重みと層幅を独立に最適化しない。 本研究では,スリム化可能なネットワークの幅構成と重み付けを同時に最適化する汎用フレームワークを提案する。 本フレームワークは,従来のslimmableメソッドとnasベースのslimmableメソッドを特別なケースとして利用し,既存のメソッドに対して柔軟性を提供する。 このアルゴリズムは,様々なネットワーク,データセット,目的に対して,スリムなネットワークを最適化する既存の手法よりも優れている。 定量的には、ImageNetデータセットの1.7%と8%の改善は、それぞれFLOPとメモリフットプリントを考慮してMobileNetV2で達成できる。 本結果は,スリムネットワークの重みと相まって,異なる層に対するチャネルカウントを最適化する可能性を強調した。 コードはhttps://github.com/cmu-enyac/joslim。

関連論文リスト

• Vertical Layering of Quantized Neural Networks for Heterogeneous Inference [57.42762335081385]
  量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。 理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
  論文  参考訳（メタデータ） (2022-12-10T15:57:38Z)
• Channel-wise Mixed-precision Assignment for DNN Inference on Constrained Edge Nodes [22.40937602825472]
  最先端の混合精度は階層的に作用する、すなわち、各ネットワーク層の重みとアクティベーションのテンソルに異なるビット幅を使用する。 本研究では,各重みテンソルチャネルのビット幅を独立に選択する新しいNASを提案する。 我々のネットワークは、それぞれ最大63%と27%のメモリとエネルギーを削減します。
  論文  参考訳（メタデータ） (2022-06-17T15:51:49Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Efficient Multi-Objective Optimization for Deep Learning [2.0305676256390934]
  マルチオブジェクト最適化(MOO)はディープラーニングの一般的な課題です。 真に深いニューラルネットワークのためのスケーラブルなMOOソリューションはありません。
  論文  参考訳（メタデータ） (2021-03-24T17:59:42Z)
• Locally Free Weight Sharing for Network Width Search [55.155969155967284]
  ネットワーク幅の検索は、ハードウェア予算でディープニューラルネットワークをスリム化する効果的な方法である。 そこで我々は,各幅をよりよく評価するために,局所自由度共有戦略(CafeNet)を提案する。 提案手法により,NASネットワークの効率を0.41%向上させることができる。
  論文  参考訳（メタデータ） (2021-02-10T04:36:09Z)
• Towards Lossless Binary Convolutional Neural Networks Using Piecewise Approximation [4.023728681102073]
  CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。 しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。 完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
  論文  参考訳（メタデータ） (2020-08-08T13:32:33Z)
• Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
  Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。 CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。 ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
  論文  参考訳（メタデータ） (2020-07-29T23:17:48Z)
• WeightNet: Revisiting the Design Space of Weight Networks [96.48596945711562]
  本稿では,重み付けネットワークのための概念的にシンプルで柔軟で効果的なフレームワークを提案する。 我々のアプローチは、現在の2つの異なる非常に効果的なSENetとCondConvを重み空間上の同じフレームワークに統合するものである。
  論文  参考訳（メタデータ） (2020-07-23T06:49:01Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。