論文の概要: Cross-Layer Approximation For Printed Machine Learning Circuits

• arxiv url: http://arxiv.org/abs/2203.05915v1
• Date: Fri, 11 Mar 2022 13:41:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-14 13:44:34.034858
• Title: Cross-Layer Approximation For Printed Machine Learning Circuits
• Title（参考訳）: 印刷機械学習回路のクロス層近似
• Authors: Giorgos Armeniakos, Georgios Zervakis, Dimitrios Soudris, Mehdi B. Tahoori, J\"org Henkel
• Abstract要約: 印刷エレクトロニクス(PE)における機械学習(ML)アーキテクチャに適した層間近似を提案し,実装する。 その結果, クロス近似は, 最先端の精密設計と比較して, 平均面積47%, 消費電力44%, 精度1%以下で最適設計を提供することを示した。
• 参考スコア（独自算出の注目度）: 4.865819809855699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Printed electronics (PE) feature low non-recurring engineering costs and low per unit-area fabrication costs, enabling thus extremely low-cost and on-demand hardware. Such low-cost fabrication allows for high customization that would be infeasible in silicon, and bespoke architectures prevail to improve the efficiency of emerging PE machine learning (ML) applications. However, even with bespoke architectures, the large feature sizes in PE constraint the complexity of the ML models that can be implemented. In this work, we bring together, for the first time, approximate computing and PE design targeting to enable complex ML models, such as Multi-Layer Perceptrons (MLPs) and Support Vector Machines (SVMs), in PE. To this end, we propose and implement a cross-layer approximation, tailored for bespoke ML architectures. At the algorithmic level we apply a hardware-driven coefficient approximation of the ML model and at the circuit level we apply a netlist pruning through a full search exploration. In our extensive experimental evaluation we consider 14 MLPs and SVMs and evaluate more than 4300 approximate and exact designs. Our results demonstrate that our cross approximation delivers Pareto optimal designs that, compared to the state-of-the-art exact designs, feature 47% and 44% average area and power reduction, respectively, and less than 1% accuracy loss.
• Abstract（参考訳）: プリントエレクトロニクス(PE)は、非再帰的なエンジニアリングコストが低く、単位領域当たりの製造コストが低いため、極端に低コストでオンデマンドなハードウェアを実現する。 このような低コストな製造により、シリコンでは実現不可能な高いカスタマイズが可能となり、新しいPE機械学習(ML)アプリケーションの効率向上に成功している。 しかしながら、bespokeアーキテクチャでさえ、PEの大規模な機能サイズは、実装可能なMLモデルの複雑さを制約します。 本研究では,複数のMLP(Multi-Layer Perceptrons)やSupport Vector Machines(SVM)などの複雑なMLモデルをPEで実現するために,近似計算とPE設計を初めて組み合わせる。 そこで本研究では,mlアーキテクチャに適した層間近似を提案し,実装する。 アルゴリズムレベルでは、MLモデルのハードウェア駆動係数近似を適用し、回路レベルでは、全探索によるネットリストプルーニングを適用する。 我々は14のMLPとSVMについて検討し、4300以上の近似的および正確な設計を評価する。 その結果,我々のクロス近似は,最先端の正確な設計と比較して,平均面積47%,消費電力44%,精度損失1%未満のパレート最適設計を実現していることがわかった。

関連論文リスト

• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
  Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。 我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-10-21T17:58:20Z)
• A Single Transformer for Scalable Vision-Language Modeling [74.05173379908703]
  我々はvisiOn-Language mOdelingのための単一変換器SOLOを提案する。 SOLOのような統一された単一トランスフォーマーアーキテクチャは、LVLMにおけるこれらのスケーラビリティ上の懸念に効果的に対処する。 本稿では,オープンソースの7B LVLMであるSOLOの開発のための,最初のオープンソーストレーニングレシピを紹介する。
  論文  参考訳（メタデータ） (2024-07-08T22:40:15Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• Embedding Hardware Approximations in Discrete Genetic-based Training for Printed MLPs [1.4694098707981968]
  Printed Electronics (PE)は、伸縮性、適合性、および非有毒なハードウェアを可能にする。 PEは大きな機能サイズで制約されており、機械学習(ML)認識回路のような複雑な回路を実装することは困難である。 本稿では,ハードウェア近似をトレーニングプロセスに統合することにより,近似計算の利点を最大化する。
  論文  参考訳（メタデータ） (2024-02-05T11:52:23Z)
• Bespoke Approximation of Multiplication-Accumulation and Activation Targeting Printed Multilayer Perceptrons [0.8274768545559366]
  Printed Electronics (PE) は、非再帰エンジニアリングコスト、超低製造コスト、オンデマンド製造など、非並列的な機能を提供している。 PEは、その大きな特徴サイズのためにある種の制限に直面しており、複雑な回路の実現を妨げる。 超低消費電力多層パーセプトロン(MLP)分類器を設計するための自動フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-29T14:16:11Z)
• Model-to-Circuit Cross-Approximation For Printed Machine Learning Classifiers [4.865819809855699]
  プリントエレクトロニクス(PE)は、オンデマンド製造、低い非再帰エンジニアリングコスト、サブセント製造コストを約束する。 PEにおける大きな特徴サイズは、PEにおける複雑なMLモデルの実現を禁止している。 本稿では,PEにおける複雑なMLモデルを実現するため,自動層間近似フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-14T22:11:34Z)
• Co-Design of Approximate Multilayer Perceptron for Ultra-Resource Constrained Printed Circuits [4.865819809855699]
  Printed Electronics (PE) では、複雑な印刷機械学習回路の実現が禁止されている。 このフレームワークは、近似計算の原理を利用して、超リソース制約付きプリント多層パーセプトロン(MLP)を実現する。 評価の結果,最先端のベースラインと比較して,回路は平均6倍 (5.7x) 以下の領域 (電力) と1%未満の精度損失を特徴としている。
  論文  参考訳（メタデータ） (2023-02-28T13:55:19Z)
• Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks [58.720142291102135]
  大規模な機械学習モデルは、幅広い分野に進歩をもたらしている。 これらのモデルの多くは、単一のマシンでトレーニングするには大きすぎるため、複数のデバイスに分散する必要がある。 スループットやブロッキングレートといったユーザクリティカルな指標に対して,並列化の最大化が準最適であることを示す。
  論文  参考訳（メタデータ） (2023-01-31T17:41:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。