論文の概要: Bit-Mixer: Mixed-precision networks with runtime bit-width selection

• arxiv url: http://arxiv.org/abs/2103.17267v1
• Date: Wed, 31 Mar 2021 17:58:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-01 14:48:16.228318
• Title: Bit-Mixer: Mixed-precision networks with runtime bit-width selection
• Title（参考訳）: Bit-Mixer:実行時ビット幅選択を伴う混合精度ネットワーク
• Authors: Adrian Bulat and Georgios Tzimiropoulos
• Abstract要約: Bit-Mixerは、テスト時間中に任意のレイヤが入札幅を変更し、ネットワーク全体の精度の高い推論能力に影響を与えることなく、メタ量子ネットワークをトレーニングする最初の方法である。 本手法は, デバイス上での展開に望ましい柔軟性を示す複合精密ネットワークを, 精度を犠牲にすることなく実現できることを示した。
• 参考スコア（独自算出の注目度）: 72.32693989093558
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixed-precision networks allow for a variable bit-width quantization for every layer in the network. A major limitation of existing work is that the bit-width for each layer must be predefined during training time. This allows little flexibility if the characteristics of the device on which the network is deployed change during runtime. In this work, we propose Bit-Mixer, the very first method to train a meta-quantized network where during test time any layer can change its bid-width without affecting at all the overall network's ability for highly accurate inference. To this end, we make 2 key contributions: (a) Transitional Batch-Norms, and (b) a 3-stage optimization process which is shown capable of training such a network. We show that our method can result in mixed precision networks that exhibit the desirable flexibility properties for on-device deployment without compromising accuracy. Code will be made available.
• Abstract（参考訳）: 混合精度ネットワークは、ネットワーク内の各層に対する可変ビット幅量子化を可能にする。 既存の作業の大きな制限は、各レイヤのビット幅がトレーニング時間中に事前に定義されなければならないことである。 これにより、ネットワークがデプロイされるデバイスの特性が実行時に変化した場合、柔軟性が低下する。 そこで本研究では,テスト期間中にどの層でも,ネットワーク全体の能力に影響を与えずに入札幅を変更できる,メタ量子化ネットワークを訓練する最初期の方法であるbit-mixerを提案する。 この目的のために、我々は、(a)遷移バッチノームと(b)そのようなネットワークを訓練できる3段階最適化プロセスの2つの重要な貢献を行う。 提案手法は,デバイス上でのデプロイメントにおいて,精度を損なうことなく,望ましい柔軟性を示す混合精度ネットワークを実現することができることを示す。 コードは利用可能になる。

関連論文リスト

• QBitOpt: Fast and Accurate Bitwidth Reallocation during Training [19.491778184055118]
  ニューラルネットワークの量子化は、モバイルおよび組み込みデバイス上で効率的な推論を実現するための最も効果的な方法の1つである。 量子化学習中にビット幅を更新する新しいアルゴリズムQBitOptを提案する。 我々は、ImageNet上でQBitOptを評価し、平均ビット幅制約下で既存の固定精度と混合精度の手法より優れていることを確認した。
  論文  参考訳（メタデータ） (2023-07-10T13:01:08Z)
• A Practical Mixed Precision Algorithm for Post-Training Quantization [15.391257986051249]
  混合精度量子化は、均一な量子化よりも優れた性能効率トレードオフを見つけるための有望な解である。 簡単な学習後混合精度アルゴリズムを提案する。 我々は,同質のビット幅等価値よりも精度と効率のトレードオフが良い混合精度ネットワークを見つけることができることを示す。
  論文  参考訳（メタデータ） (2023-02-10T17:47:54Z)
• Bandwidth-efficient distributed neural network architectures with application to body sensor networks [73.02174868813475]
  本稿では,分散ニューラルネットワークアーキテクチャを設計するための概念設計手法について述べる。 提案手法により,損失を最小限に抑えつつ,最大20倍の帯域幅削減が可能となることを示す。 本稿では,ウェアラブル脳-コンピュータインタフェースに焦点をあてるが,他のセンサネットワークアプリケーションにも適用できる。
  論文  参考訳（メタデータ） (2022-10-14T12:35:32Z)
• Channel-wise Mixed-precision Assignment for DNN Inference on Constrained Edge Nodes [22.40937602825472]
  最先端の混合精度は階層的に作用する、すなわち、各ネットワーク層の重みとアクティベーションのテンソルに異なるビット幅を使用する。 本研究では,各重みテンソルチャネルのビット幅を独立に選択する新しいNASを提案する。 我々のネットワークは、それぞれ最大63%と27%のメモリとエネルギーを削減します。
  論文  参考訳（メタデータ） (2022-06-17T15:51:49Z)
• Arbitrary Bit-width Network: A Joint Layer-Wise Quantization and Adaptive Inference Approach [38.03309300383544]
  そこで本研究では,データ依存動的推論を実現するために,様々な量子化方式で異なるデータサンプルを微細な層レベルで供給することを提案する。 本稿では,Arbitrary Bit-width Network(ABN)を提案する。 ImageNet分類では、36.2%のBitOpsを節約しながら、1.1%のトップ1の精度向上を実現しています。
  論文  参考訳（メタデータ） (2022-04-21T09:36:43Z)
• All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
  オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。 具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。 知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
  論文  参考訳（メタデータ） (2021-03-02T03:09:03Z)
• Enabling certification of verification-agnostic networks via memory-efficient semidefinite programming [97.40955121478716]
  本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。 L-inf の精度は 1% から 88% ,6% から 40% に改善した。 また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
  論文  参考訳（メタデータ） (2020-10-22T12:32:29Z)
• Rethinking Differentiable Search for Mixed-Precision Neural Networks [83.55785779504868]
  低ビット幅に量子化された重みとアクティベーションを持つ低精度ネットワークは、エッジデバイスでの推論を加速するために広く利用されている。 現在の解は均一であり、全てのフィルタに同じビット幅を使用する。 これは異なるフィルタの異なる感度を考慮せず、最適以下である。 混合精度ネットワークは、ビット幅を個々のフィルタ要求に調整することでこの問題に対処する。
  論文  参考訳（メタデータ） (2020-04-13T07:02:23Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Switchable Precision Neural Networks [35.2752928147013]
  複数の量子化レベルで動作可能な共有ネットワークをトレーニングするために,スイッチブル精密ニューラルネットワーク(SP-Nets)を提案する。 実行時に、ネットワークは、インスタントメモリ、レイテンシ、消費電力、精度要求に応じて、オンザフライで精度を調整することができる。
  論文  参考訳（メタデータ） (2020-02-07T14:43:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。