論文の概要: Reducing ADC Front-end Costs During Training of On-sensor Printed Multilayer Perceptrons

• arxiv url: http://arxiv.org/abs/2411.08674v2
• Date: Thu, 14 Nov 2024 10:28:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 11:44:51.194570
• Title: Reducing ADC Front-end Costs During Training of On-sensor Printed Multilayer Perceptrons
• Title（参考訳）: オンセンサ型多層受容器のトレーニングにおけるADCフロントエンドコスト削減
• Authors: Florentia Afentaki, Paula Carolina Lozano Duarte, Georgios Zervakis, Mehdi B. Tahoori,
• Abstract要約: 印刷電子技術は、従来のシリコン技術を超える計算ニーズに対して、費用対効果のあるソリューションを提供する。 印刷エレクトロニクスの低解像度化は、機械学習(ML)分類システムのような複雑な設計を統合する上での課題である。
• 参考スコア（独自算出の注目度）: 0.9406794506458744
• License:
• Abstract: Printed electronics technology offers a cost-effectiveand fully-customizable solution to computational needs beyondthe capabilities of traditional silicon technologies, offering ad-vantages such as on-demand manufacturing and conformal, low-cost hardware. However, the low-resolution fabrication of printedelectronics, which results in large feature sizes, poses a challengefor integrating complex designs like those of machine learn-ing (ML) classification systems. Current literature optimizes onlythe Multilayer Perceptron (MLP) circuit within the classificationsystem, while the cost of analog-to-digital converters (ADCs)is overlooked. Printed applications frequently require on-sensorprocessing, yet while the digital classifier has been extensivelyoptimized, the analog-to-digital interfacing, specifically the ADCs,dominates the total area and energy consumption. In this work,we target digital printed MLP classifiers and we propose thedesign of customized ADCs per MLP's input which involvesminimizing the distinct represented numbers for each input,simplifying thus the ADC's circuitry. Incorporating this ADCoptimization in the MLP training, enables eliminating ADC levelsand the respective comparators, while still maintaining highclassification accuracy. Our approach achieves 11.2x lower ADCarea for less than 5% accuracy drop across varying MLPs.
• Abstract（参考訳）: 印刷電子技術は、従来のシリコン技術の能力を超える計算ニーズに対して、コスト効率が高く、完全にカスタマイズ可能なソリューションを提供し、オンデマンド製造や、整合性で低コストなハードウェアのようなアドバンテージを提供する。 しかし、印刷エレクトロニクスの低解像度化は、大きな特徴サイズをもたらすため、機械学習(ML)分類システムのような複雑な設計を統合する上での課題となる。 現在の文献では、分類システム内の多層パーセプトロン(MLP)回路のみを最適化しているが、アナログ・デジタルコンバータ(ADC)のコストは見過ごされている。 印刷されたアプリケーションはオンセンサー処理を必要とすることが多いが、デジタル分類器は広範囲に最適化されているものの、アナログ・デジタル・インタフェース、特にADCは総面積とエネルギー消費を支配している。 本研究では,デジタル印刷されたMLP分類器を対象とし,各入力に対して異なる表現数を最小化し,ADCの回路を単純化するMDPの入力毎にカスタマイズされたADCの設計を提案する。 MLPトレーニングにこのADC最適化を組み込むことにより、高分類の精度を維持しながら、ADCレベルと各コンパレータの除去が可能になる。 提案手法はADCareaの11.2倍の精度で, MLPの精度は5%以下である。

関連論文リスト

• Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
  我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。 我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
  論文  参考訳（メタデータ） (2024-10-17T11:46:33Z)
• Sustainable Diffusion-based Incentive Mechanism for Generative AI-driven Digital Twins in Industrial Cyber-Physical Systems [65.22300383287904]
  産業用サイバー物理システム(ICPS)は、現代の製造業と産業にとって不可欠なコンポーネントである。 製品ライフサイクルを通じてデータをデジタル化することで、ICPSのDigital Twins(DT)は、現在の産業インフラからインテリジェントで適応的なインフラへの移行を可能にします。 産業用IoT(Industrial Internet of Things, IIoT)デバイスを利用すれば、DTを構築するためのデータを共有するメカニズムは、悪い選択問題の影響を受けやすい。
  論文  参考訳（メタデータ） (2024-08-02T10:47:10Z)
• Parameter-Adaptive Approximate MPC: Tuning Neural-Network Controllers without Retraining [50.00291020618743]
  この研究は、大規模なデータセットを再計算し、再トレーニングすることなくオンラインチューニングが可能な、新しいパラメータ適応型AMPCアーキテクチャを導入している。 資源制約の厳しいマイクロコントローラ(MCU)を用いた2種類の実カートポールシステムの揺らぎを制御し,パラメータ適応型AMPCの有効性を示す。 これらの貢献は、現実世界のシステムにおけるAMPCの実践的応用に向けた重要な一歩である。
  論文  参考訳（メタデータ） (2024-04-08T20:02:19Z)
• Embedding Hardware Approximations in Discrete Genetic-based Training for Printed MLPs [1.4694098707981968]
  Printed Electronics (PE)は、伸縮性、適合性、および非有毒なハードウェアを可能にする。 PEは大きな機能サイズで制約されており、機械学習(ML)認識回路のような複雑な回路を実装することは困難である。 本稿では,ハードウェア近似をトレーニングプロセスに統合することにより,近似計算の利点を最大化する。
  論文  参考訳（メタデータ） (2024-02-05T11:52:23Z)
• Bespoke Approximation of Multiplication-Accumulation and Activation Targeting Printed Multilayer Perceptrons [0.8274768545559366]
  Printed Electronics (PE) は、非再帰エンジニアリングコスト、超低製造コスト、オンデマンド製造など、非並列的な機能を提供している。 PEは、その大きな特徴サイズのためにある種の制限に直面しており、複雑な回路の実現を妨げる。 超低消費電力多層パーセプトロン(MLP)分類器を設計するための自動フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-29T14:16:11Z)
• Adaptive Computation Modules: Granular Conditional Computation For Efficient Inference [13.000030080938078]
  トランスモデルの計算コストは、低レイテンシや低消費電力のアプリケーションでは非効率である。 本稿では,適応計算モジュール (Adaptive Computation Module, ACM) を提案する。 コンピュータビジョンおよび音声認識におけるトランスフォーマーモデルの評価により,ACMを用いた置換層は,広範囲のユーザ定義予算において,下流の精度を低下させることなく,推論コストを大幅に低減することを示した。
  論文  参考訳（メタデータ） (2023-12-15T20:39:43Z)
• On-sensor Printed Machine Learning Classification via Bespoke ADC and Decision Tree Co-Design [3.919502921806021]
  プリントエレクトロニクス(PE)技術は、非再帰的なエンジニアリングと製造コストが低いため、コスト効率のよいハードウェアを未使用のカスタマイズで提供する。 PEは、柔軟性、伸縮性、ポロシティ、整合性などの特徴があり、ユビキタスコンピューティングの実現の有力な候補となっている。 本稿では,完全にカスタマイズされた ADC の設計を提案する。
  論文  参考訳（メタデータ） (2023-12-02T16:28:09Z)
• Co-Design of Approximate Multilayer Perceptron for Ultra-Resource Constrained Printed Circuits [4.865819809855699]
  Printed Electronics (PE) では、複雑な印刷機械学習回路の実現が禁止されている。 このフレームワークは、近似計算の原理を利用して、超リソース制約付きプリント多層パーセプトロン(MLP)を実現する。 評価の結果,最先端のベースラインと比較して,回路は平均6倍 (5.7x) 以下の領域 (電力) と1%未満の精度損失を特徴としている。
  論文  参考訳（メタデータ） (2023-02-28T13:55:19Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
  本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。 本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。 本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
  論文  参考訳（メタデータ） (2022-10-12T15:25:19Z)
• Single-Shot Optical Neural Network [55.41644538483948]
  深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。 我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
  論文  参考訳（メタデータ） (2022-05-18T17:49:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。