論文の概要: Binary Early-Exit Network for Adaptive Inference on Low-Resource Devices

• arxiv url: http://arxiv.org/abs/2206.09029v1
• Date: Fri, 17 Jun 2022 22:11:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-26 18:11:03.103119
• Title: Binary Early-Exit Network for Adaptive Inference on Low-Resource Devices
• Title（参考訳）: 低リソースデバイスにおける適応推論のためのバイナリ・アーリーエクイットネットワーク
• Authors: Aaqib Saeed
• Abstract要約: バイナリニューラルネットワーク(BNN)は、実数値モデルと比較して、極端な圧縮とスピードアップによる問題に対処する。 そこで本研究では,BNNを早期導入戦略で統合して推論を高速化する,シンプルだが効果的な手法を提案する。 このアプローチでは、決定しきい値に基づいて単純なインスタンスを早期に終了させ、異なる中間層に追加される出力層を利用してバイナリモデル全体の実行を回避する。
• 参考スコア（独自算出の注目度）: 3.591566487849146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have significantly improved performance on a range of tasks with the increasing demand for computational resources, leaving deployment on low-resource devices (with limited memory and battery power) infeasible. Binary neural networks (BNNs) tackle the issue to an extent with extreme compression and speed-up gains compared to real-valued models. We propose a simple but effective method to accelerate inference through unifying BNNs with an early-exiting strategy. Our approach allows simple instances to exit early based on a decision threshold and utilizes output layers added to different intermediate layers to avoid executing the entire binary model. We extensively evaluate our method on three audio classification tasks and across four BNNs architectures. Our method demonstrates favorable quality-efficiency trade-offs while being controllable with an entropy-based threshold specified by the system user. It also results in better speed-ups (latency less than 6ms) with a single model based on existing BNN architectures without retraining for different efficiency levels. It also provides a straightforward way to estimate sample difficulty and better understanding of uncertainty around certain classes within the dataset.
• Abstract（参考訳）: ディープニューラルネットワークは、計算リソースの需要の増加に伴い、さまざまなタスクのパフォーマンスを大幅に向上させ、(メモリとバッテリパワーの制限のある)低リソースデバイスへのデプロイを不可能にした。 バイナリニューラルネットワーク(BNN)は、実数値モデルと比較して、極端な圧縮とスピードアップでこの問題に対処する。 そこで本研究では,BNNを早期導入戦略で統合し,推論を高速化する手法を提案する。 このアプローチでは、単純なインスタンスが決定しきい値に基づいて早期に終了でき、異なる中間層に追加された出力層を利用してバイナリモデル全体の実行を避けることができる。 3つの音声分類タスクと4つのBNNアーキテクチャに対して,本手法を広範囲に評価した。 本手法は,システムユーザが指定したエントロピーベースのしきい値に制御可能でありながら,品質効率の良好なトレードオフを示す。 また、既存のBNNアーキテクチャをベースとした単一のモデルで、異なる効率レベルをトレーニングすることなく、より優れたスピードアップ(レイテンシ6ms未満)を実現している。 また、サンプルの難易度を推定し、データセット内の特定のクラスに関する不確実性をよりよく理解する簡単な方法を提供する。

関連論文リスト

• Binary domain generalization for sparsifying binary neural networks [3.2462411268263964]
  バイナリニューラルネットワーク(BNN)は、リソース制約のあるデバイスにおいて、ディープニューラルネットワーク(DNN)ベースのアプリケーションを開発、デプロイするための魅力的なソリューションである。 BNNの軽量プルーニングは性能劣化を招き、BNNの標準バイナライズドメインがタスクに適していないことを示唆している。 この研究は、プルーニング技術に対してより堅牢な標準バイナリドメインを拡張した、より一般的なバイナリドメインを提案する。
  論文  参考訳（メタデータ） (2023-06-23T14:32:16Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness [33.09831377640498]
  本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。 本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。 ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-05-01T05:46:13Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
  本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。 我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
  論文  参考訳（メタデータ） (2020-10-19T08:11:48Z)
• Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
  TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。 DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。 300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
  論文  参考訳（メタデータ） (2020-07-17T08:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。