論文の概要: Embedding Hardware Approximations in Discrete Genetic-based Training for Printed MLPs
- arxiv url: http://arxiv.org/abs/2402.02930v2
- Date: Thu, 14 Nov 2024 10:24:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-15 15:23:05.164346
- Title: Embedding Hardware Approximations in Discrete Genetic-based Training for Printed MLPs
- Title（参考訳）: 離散遺伝的学習における組込みハードウェア近似
- Authors: Florentia Afentaki, Michael Hefenbrock, Georgios Zervakis, Mehdi B. Tahoori,
- Abstract要約: Printed Electronics (PE)は、伸縮性、適合性、および非有毒なハードウェアを可能にする。
PEは大きな機能サイズで制約されており、機械学習(ML)認識回路のような複雑な回路を実装することは困難である。
本稿では,ハードウェア近似をトレーニングプロセスに統合することにより,近似計算の利点を最大化する。
- 参考スコア（独自算出の注目度）: 1.4694098707981968
- License:
- Abstract: Printed Electronics (PE) stands out as a promisingtechnology for widespread computing due to its distinct attributes, such as low costs and flexible manufacturing. Unlike traditional silicon-based technologies, PE enables stretchable, conformal,and non-toxic hardware. However, PE are constrained by larger feature sizes, making it challenging to implement complex circuits such as machine learning (ML) classifiers. Approximate computing has been proven to reduce the hardware cost of ML circuits such as Multilayer Perceptrons (MLPs). In this paper, we maximize the benefits of approximate computing by integrating hardware approximation into the MLP training process. Due to the discrete nature of hardware approximation, we propose and implement a genetic-based, approximate, hardware-aware training approach specifically designed for printed MLPs. For a 5% accuracy loss, our MLPs achieve over 5x area and power reduction compared to the baseline while outperforming state of-the-art approximate and stochastic printed MLPs.
- Abstract（参考訳）: Printed Electronics (PE) は、低コストやフレキシブルな製造など、その特性が異なるため、幅広いコンピューティングのための有望な技術として注目されている。
従来のシリコンベースの技術とは異なり、PEは伸縮性、適合性、および非有毒なハードウェアを可能にする。
しかし、PEは大きな機能サイズに制約されているため、機械学習(ML)分類器のような複雑な回路の実装は困難である。
近似コンピューティングは、MLP(Multilayer Perceptrons)のようなML回路のハードウェアコストを削減することが証明されている。
本稿では,ハードウェア近似をMLPトレーニングプロセスに統合することにより,近似計算の利点を最大化する。
ハードウェア近似の離散的な性質から,本研究では,印刷用MLPに特化して設計された,遺伝的に近似した,ハードウェア対応のトレーニング手法を提案し,実装する。
5%の精度損失が得られた場合,MLPはベースラインに比べて5倍以上の面積と電力削減を実現し,その性能は近似的および確率的印刷MLPよりも優れていた。
関連論文リスト
- DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。
活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。
DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
論文 参考訳（メタデータ） (2024-11-04T18:26:08Z) - Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。
PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。
我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
論文 参考訳（メタデータ） (2024-10-17T11:46:33Z) - MoPE-CLIP: Structured Pruning for Efficient Vision-Language Models with
Module-wise Pruning Error Metric [57.3330687266266]
より小さな事前学習モデルを用いてCLIPモデルに等級に基づくプルーニングを適用すると、柔軟性が低下し、性能が低下することがわかった。
The Module-wise Pruning Error (MoPE) metric, we introduced a unified pruning framework for both pre-training and task-specific fine-tuning compression stage。
論文 参考訳（メタデータ） (2024-03-12T17:24:26Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - Bespoke Approximation of Multiplication-Accumulation and Activation
Targeting Printed Multilayer Perceptrons [0.8768075668637361]
Printed Electronics (PE) は、非再帰エンジニアリングコスト、超低製造コスト、オンデマンド製造など、非並列的な機能を提供している。
PEは、その大きな特徴サイズのためにある種の制限に直面しており、複雑な回路の実現を妨げる。
超低消費電力多層パーセプトロン(MLP)分類器を設計するための自動フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-29T14:16:11Z) - Model-to-Circuit Cross-Approximation For Printed Machine Learning
Classifiers [4.865819809855699]
プリントエレクトロニクス(PE)は、オンデマンド製造、低い非再帰エンジニアリングコスト、サブセント製造コストを約束する。
PEにおける大きな特徴サイズは、PEにおける複雑なMLモデルの実現を禁止している。
本稿では,PEにおける複雑なMLモデルを実現するため,自動層間近似フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-14T22:11:34Z) - Co-Design of Approximate Multilayer Perceptron for Ultra-Resource
Constrained Printed Circuits [4.865819809855699]
Printed Electronics (PE) では、複雑な印刷機械学習回路の実現が禁止されている。
このフレームワークは、近似計算の原理を利用して、超リソース制約付きプリント多層パーセプトロン(MLP)を実現する。
評価の結果,最先端のベースラインと比較して,回路は平均6倍 (5.7x) 以下の領域 (電力) と1%未満の精度損失を特徴としている。
論文 参考訳（メタデータ） (2023-02-28T13:55:19Z) - The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in
Transformers [59.87030906486969]
本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。
本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。
本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
論文 参考訳（メタデータ） (2022-10-12T15:25:19Z) - Approximate Decision Trees For Machine Learning Classification on Tiny
Printed Circuits [0.7349727826230862]
印刷電子(PE)は従来の評価基準ではシリコン系システムと競合することができない。
PEはオンデマンドの超低価格製造、柔軟性、非毒性などの魅力的な特性を提供する。
PEの魅力的な特性にもかかわらず、PEの大きな特徴は複雑なプリント回路の実現を禁止している。
論文 参考訳（メタデータ） (2022-03-15T15:47:59Z) - Efficient Language Modeling with Sparse all-MLP [53.81435968051093]
すべてのMLPは、言語モデリングにおいてTransformerと一致するが、下流タスクではまだ遅れている。
特徴量と入力量の両方でMoE(Mix-of-Experts)を混合したスパースオールMLPを提案する。
6つの下流タスクにおいて、ゼロショットのインコンテキスト学習性能を評価し、トランスフォーマーベースのMoEや高密度トランスフォーマーを上回る結果を得た。
論文 参考訳（メタデータ） (2022-03-14T04:32:19Z) - Cross-Layer Approximation For Printed Machine Learning Circuits [4.865819809855699]
印刷エレクトロニクス(PE)における機械学習(ML)アーキテクチャに適した層間近似を提案し,実装する。
その結果, クロス近似は, 最先端の精密設計と比較して, 平均面積47%, 消費電力44%, 精度1%以下で最適設計を提供することを示した。
論文 参考訳（メタデータ） (2022-03-11T13:41:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。