論文の概要: BasisNet: Two-stage Model Synthesis for Efficient Inference

• arxiv url: http://arxiv.org/abs/2105.03014v1
• Date: Fri, 7 May 2021 00:21:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-10 12:19:11.229662
• Title: BasisNet: Two-stage Model Synthesis for Efficient Inference
• Title（参考訳）: BasisNet:効率的な推論のための2段階モデル合成
• Authors: Mingda Zhang, Chun-Te Chu, Andrey Zhmoginov, Andrew Howard, Brendan Jou, Yukun Zhu, Li Zhang, Rebecca Hwa, Adriana Kovashka
• Abstract要約: 効率的なニューラルネットワークアーキテクチャの最近の進歩、条件計算、早期終了をシンプルな新しい形式で組み合わせたBasisNetを紹介します。 提案手法では,入力に依存した組合せ係数のプレビューと生成を行う軽量モデルを導入し,その後,より正確なスペシャリストモデルの合成を制御し,最終的な予測を行う。 ImageNet分類ベンチマークでは、BasisNetとMobileNetsをバックボーンとして、精度と効率のトレードオフに明確な優位性を示しました。
• 参考スコア（独自算出の注目度）: 39.34855162835054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we present BasisNet which combines recent advancements in efficient neural network architectures, conditional computation, and early termination in a simple new form. Our approach incorporates a lightweight model to preview the input and generate input-dependent combination coefficients, which later controls the synthesis of a more accurate specialist model to make final prediction. The two-stage model synthesis strategy can be applied to any network architectures and both stages are jointly trained. We also show that proper training recipes are critical for increasing generalizability for such high capacity neural networks. On ImageNet classification benchmark, our BasisNet with MobileNets as backbone demonstrated clear advantage on accuracy-efficiency trade-off over several strong baselines. Specifically, BasisNet-MobileNetV3 obtained 80.3% top-1 accuracy with only 290M Multiply-Add operations, halving the computational cost of previous state-of-the-art without sacrificing accuracy. With early termination, the average cost can be further reduced to 198M MAdds while maintaining accuracy of 80.0% on ImageNet.
• Abstract（参考訳）: 本研究では,効率的なニューラルネットワークアーキテクチャ,条件計算,早期終了といった最近の進歩を,簡単な新しい形式で組み合わせたBasisNetを提案する。 提案手法では,入力に依存した組合せ係数のプレビューと生成を行う軽量モデルを導入し,その後,より正確なスペシャリストモデルの合成を制御し,最終的な予測を行う。 2段階のモデル合成戦略は任意のネットワークアーキテクチャに適用でき、どちらの段階も共同で訓練される。 また,このような高容量ニューラルネットワークの一般化性向上には,適切なトレーニングレシピが不可欠であることを示す。 imagenet分類ベンチマークでは、backboneとしてmobilenetsを使ったベースラインネットは、いくつかの強力なベースラインに対する精度と効率のトレードオフにおいて明確な優位性を示しました。 具体的には、BasisNet-MobileNetV3は80.3%のTop-1精度を獲得し、290万のMultiply-Add演算しか行わなかった。 早期終了により、平均コストは、ImageNetで80.0%の精度を維持しながら、さらに198万のMaddに削減できる。

関連論文リスト

• Bayesian Inference Accelerator for Spiking Neural Networks [3.145754107337963]
  スパイキングニューラルネットワーク(SNN)は、計算面積と電力を減らす可能性がある。 本研究では,効率的なベイズSNNをハードウェア上で開発・実装するための最適化フレームワークについて述べる。 我々は、完全精度のベルヌーイパラメータを持つベイジアンバイナリネットワークに匹敵するアキュラ級数を示し、最大25時間分のスパイクを減らした。
  論文  参考訳（メタデータ） (2024-01-27T16:27:19Z)
• Residual Multi-Fidelity Neural Network Computing [0.0]
  残差関数としてモデル間の相関を定式化する残差多忠実計算フレームワークを提案する。 計算コストの劇的な削減は、出力予測が小さな許容範囲内で正確であることを望んでいれば達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-05T14:43:16Z)
• Vertical Layering of Quantized Neural Networks for Heterogeneous Inference [57.42762335081385]
  量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。 理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
  論文  参考訳（メタデータ） (2022-12-10T15:57:38Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• DNNAbacus: Toward Accurate Computational Cost Prediction for Deep Neural Networks [0.9896984829010892]
  本稿では,29の古典的ディープニューラルネットワークの計算資源要求を調査し,計算コストを予測するための正確なモデルを構築した。 ネットワーク表現のための新しいネットワーク構造行列を用いた軽量な予測手法DNNAbacusを提案する。 実験の結果, 平均相対誤差 (MRE) は時間に対して0.9%, メモリに関しては2.8%であった。
  論文  参考訳（メタデータ） (2022-05-24T14:21:27Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)
• Switchable Precision Neural Networks [35.2752928147013]
  複数の量子化レベルで動作可能な共有ネットワークをトレーニングするために,スイッチブル精密ニューラルネットワーク(SP-Nets)を提案する。 実行時に、ネットワークは、インスタントメモリ、レイテンシ、消費電力、精度要求に応じて、オンザフライで精度を調整することができる。
  論文  参考訳（メタデータ） (2020-02-07T14:43:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。