論文の概要: DEX: Data Channel Extension for Efficient CNN Inference on Tiny AI Accelerators

• arxiv url: http://arxiv.org/abs/2412.06566v1
• Date: Mon, 09 Dec 2024 15:18:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:53:45.042202
• Title: DEX: Data Channel Extension for Efficient CNN Inference on Tiny AI Accelerators
• Title（参考訳）: DEX: ティニーAIアクセラレータ上での効率的なCNN推論のためのデータチャネル拡張
• Authors: Taesik Gong, Fahim Kawsar, Chulhong Min,
• Abstract要約: Data Channel EXtension(DEX)は、小さなAIアクセラレータ上での効率的なCNN実行のための新しいアプローチである。 DEXはオリジナル画像から追加の空間情報をパッチワイドサンプリングやチャネルワイド・スタックングを通じて入力画像に組み込む。 DEXはAIアクセラレータで推論レイテンシを同じに保ちながら、平均3.5%の精度を改善する。
• 参考スコア（独自算出の注目度）: 9.653293621734447
• License:
• Abstract: Tiny machine learning (TinyML) aims to run ML models on small devices and is increasingly favored for its enhanced privacy, reduced latency, and low cost. Recently, the advent of tiny AI accelerators has revolutionized the TinyML field by significantly enhancing hardware processing power. These accelerators, equipped with multiple parallel processors and dedicated per-processor memory instances, offer substantial performance improvements over traditional microcontroller units (MCUs). However, their limited data memory often necessitates downsampling input images, resulting in accuracy degradation. To address this challenge, we propose Data channel EXtension (DEX), a novel approach for efficient CNN execution on tiny AI accelerators. DEX incorporates additional spatial information from original images into input images through patch-wise even sampling and channel-wise stacking, effectively extending data across input channels. By leveraging underutilized processors and data memory for channel extension, DEX facilitates parallel execution without increasing inference latency. Our evaluation with four models and four datasets on tiny AI accelerators demonstrates that this simple idea improves accuracy on average by 3.5%p while keeping the inference latency the same on the AI accelerator. The source code is available at https://github.com/Nokia-Bell-Labs/data-channel-extension.
• Abstract（参考訳）: TinyML(TinyML)は、小さなデバイス上でMLモデルを実行することを目的としている。 近年、小さなAIアクセラレーターの出現は、ハードウェア処理能力を大幅に強化することでTinyML分野に革命をもたらした。 これらのアクセラレータは複数の並列プロセッサとプロセッサ単位のメモリインスタンスを備えており、従来のマイクロコントローラユニット(MCU)よりも大幅に性能が向上している。 しかし、その限られたデータメモリは、しばしば入力画像のダウンサンプリングを必要とするため、精度が低下する。 この課題に対処するために、我々は、小さなAIアクセラレーター上で効率的なCNN実行のための新しいアプローチであるData Channel EXtension (DEX)を提案する。 DEXは、元の画像から追加の空間情報をパッチワイドのサンプリングやチャネルワイドの積み重ねを通じて入力画像に組み込み、入力チャネル間でデータを効果的に拡張する。 未使用のプロセッサとデータメモリをチャネル拡張に活用することにより、DECは推論遅延を増大させることなく並列実行を容易にする。 小さなAIアクセラレータ上での4つのモデルと4つのデータセットによる評価は、この単純なアイデアがAIアクセラレータ上での推論レイテンシを同じに保ちながら、平均で3.5%の精度を改善することを示している。 ソースコードはhttps://github.com/Nokia-Bell-Labs/data- channel-extension.comで公開されている。

関連論文リスト

• SparseTem: Boosting the Efficiency of CNN-Based Video Encoders by Exploiting Temporal Continuity [15.872209884833977]
  本稿では,メモリオーバーヘッドを削減するためのメモリ効率スケジューリング手法と,精度の劣化を最小限に抑えるためのオンライン調整機構を提案する。 SparseTemは効率の良いDetでは1.79x、CRNNでは4.72xの高速化を実現している。
  論文  参考訳（メタデータ） (2024-10-28T07:13:25Z)
• TSB: Tiny Shared Block for Efficient DNN Deployment on NVCIM Accelerators [11.496631244103773]
  Tiny Shared Block (TSB)"は、小さな共有1x1畳み込みブロックをDeep Neural Networkアーキテクチャに統合する。 TSBは、20倍以上の推論精度ギャップの改善、5倍以上のトレーニングスピードアップ、デバイス間マッピングコストの削減を実現している。
  論文  参考訳（メタデータ） (2024-05-08T20:53:38Z)
• Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
  デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。 本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。 この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
  論文  参考訳（メタデータ） (2024-04-15T09:33:09Z)
• Containing Analog Data Deluge at Edge through Frequency-Domain Compression in Collaborative Compute-in-Memory Networks [0.0]
  本稿では,ディープラーニング推論タスクにおける領域効率向上のための新しい手法を提案する。 アナログデータをより効率的に処理することにより、センサからの貴重なデータを選択的に保持し、アナログデータデルージュによる課題を軽減することができる。
  論文  参考訳（メタデータ） (2023-09-20T03:52:04Z)
• Spatiotemporal Attention-based Semantic Compression for Real-time Video Recognition [117.98023585449808]
  本稿では,各フレームにおけるフレームと画素の重要性を評価するために,時間的注意に基づくオートエンコーダ(STAE)アーキテクチャを提案する。 我々は3D-2D CNNを組み合わせた軽量デコーダを開発し、欠落した情報を再構成する。 実験の結果,VT_STAEはビデオデータセットH51を,5%の精度で104倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T07:47:27Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays [66.62377866022221]
  Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。 10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。 これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-10-20T11:01:23Z)
• Resistive Neural Hardware Accelerators [0.46198289193451136]
  ReRAMベースのインメモリコンピューティングは、領域と電力効率のよい推論の実装において大きな可能性を秘めている。 ReRAMベースのインメモリコンピューティングへの移行は、領域と電力効率のよい推論の実装において大きな可能性を秘めている。 本稿では,最先端のReRAMベースディープニューラルネットワーク(DNN)多コアアクセラレータについて概説する。
  論文  参考訳（メタデータ） (2021-09-08T21:11:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。