論文の概要: TENT: Efficient Quantization of Neural Networks on the tiny Edge with Tapered FixEd PoiNT

• arxiv url: http://arxiv.org/abs/2104.02233v1
• Date: Tue, 6 Apr 2021 01:54:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 21:33:59.052337
• Title: TENT: Efficient Quantization of Neural Networks on the tiny Edge with Tapered FixEd PoiNT
• Title（参考訳）: テーパー付き不動点を用いた微小エッジ上のニューラルネットワークの効率的な量子化
• Authors: Hamed F. Langroudi, Vedant Karia, Tej Pandit, Dhireesha Kudithipudi
• Abstract要約: TinyMLモデルにおけるテーパー固定点数値フォーマットの利点を活用するために、新しい低精度フレームワークTENTを提案します。 本稿では,数値フォーマットの動的範囲と分布を,各層におけるディープニューラルネットワークモデルのパラメータ分布とマッチングするテーパ付き固定点量子化アルゴリズムを提案する。 その結果,convnetおよびresnet-18モデルでは,固定点と比較してエネルギーオーバーヘッドが17～30%と,分類タスクの精度が最大31%向上した。
• 参考スコア（独自算出の注目度）: 3.6048665052465663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this research, we propose a new low-precision framework, TENT, to leverage the benefits of a tapered fixed-point numerical format in TinyML models. We introduce a tapered fixed-point quantization algorithm that matches the numerical format's dynamic range and distribution to that of the deep neural network model's parameter distribution at each layer. An accelerator architecture for the tapered fixed-point with TENT framework is proposed. Results show that the accuracy on classification tasks improves up to ~31 % with an energy overhead of ~17-30 % as compared to fixed-point, for ConvNet and ResNet-18 models.
• Abstract（参考訳）: 本研究では,TinyMLモデルにおけるテープ付き固定点数値フォーマットの利点を活用するために,新しい低精度フレームワークであるTENTを提案する。 本稿では,数値フォーマットの動的範囲と分布を,各層におけるディープニューラルネットワークモデルのパラメータ分布とマッチングするテーパ付き固定点量子化アルゴリズムを提案する。 TENTフレームワークを用いたテープ付き固定点加速器アーキテクチャを提案する。 その結果,ConvNet モデルと ResNet-18 モデルでは,エネルギーオーバーヘッドが ~17-30 % となると,分類タスクの精度は ~31 % 向上することがわかった。

関連論文リスト

• Tensor Ring Optimized Quantum-Enhanced Tensor Neural Networks [32.76948546010625]
  量子機械学習の研究者は、しばしばディープニューラルネットワーク(DNN)にネットワーク(TN)を組み込むことに頼っている。 この問題に対処するために、リング最適化変分量子学習分類器(Quan-TR)の多層設計を提案する。 リング最適化量子強化ニューラルネットワーク(TR-QNet)と呼ばれる。 量子シミュレーションにおいて、提案されたTR-QNetは、それぞれIris、MNIST、CIFAR-10データセット上で、9,4.5%、8,6.16%、および83.54%の有望な精度を達成している。
  論文  参考訳（メタデータ） (2023-10-02T18:07:10Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning [19.978542231976636]
  本稿では,ディープラーニングモデルにおける計算効率向上のためのパラメータとFLOPの削減手法を提案する。 本稿では,ネットワークの精度と計算効率のトレードオフを制御するために,精度と効率係数を導入する。
  論文  参考訳（メタデータ） (2023-01-26T12:32:01Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• FxP-QNet: A Post-Training Quantizer for the Design of Mixed Low-Precision DNNs with Dynamic Fixed-Point Representation [2.4149105714758545]
  我々は、ディープニューラルネットワーク(FxP-QNet)の固定点量子化器(FixP-QNet)と呼ばれる新しいフレームワークを提案する。 FxP-QNetは、ネットワーク精度と低精度要求との間のトレードオフに基づいて、各レイヤのデータ構造ごとに量子化レベルを適用する。 その結果、FxP-QNet量子化されたAlexNet、VGG-16、ResNet-18は、全精度のメモリ要求を0.95%未満の7.16x、10.36x、6.44x、1.99%削減した。
  論文  参考訳（メタデータ） (2022-03-22T23:01:43Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Local Grid Rendering Networks for 3D Object Detection in Point Clouds [98.02655863113154]
  CNNは強力だが、全点の雲を高密度の3Dグリッドに酸化した後、点データに直接畳み込みを適用するのは計算コストがかかる。 入力点のサブセットの小さな近傍を低解像度の3Dグリッドに独立してレンダリングする,新しい,原理化されたローカルグリッドレンダリング(LGR)演算を提案する。 ScanNetとSUN RGB-Dデータセットを用いた3次元オブジェクト検出のためのLGR-Netを検証する。
  論文  参考訳（メタデータ） (2020-07-04T13:57:43Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Compression of descriptor models for mobile applications [26.498907514590165]
  深層ニューラルネットワークにおける計算コスト,モデルサイズ,マッチング精度のトレードオフを評価する。 我々は、深度的に分離可能な層を用いることで、学習重量の顕著な冗長性を観察する。 本稿では,標準的な畳み込みと奥行き分離可能な畳み込みを補間する手段を提供する,畳み込み-Depthwise-Pointwise(CDP)層を提案する。
  論文  参考訳（メタデータ） (2020-01-09T17:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。