論文の概要: FSL-HDnn: A 5.7 TOPS/W End-to-end Few-shot Learning Classifier Accelerator with Feature Extraction and Hyperdimensional Computing

• arxiv url: http://arxiv.org/abs/2409.10918v1
• Date: Tue, 17 Sep 2024 06:23:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 17:48:51.763514
• Title: FSL-HDnn: A 5.7 TOPS/W End-to-end Few-shot Learning Classifier Accelerator with Feature Extraction and Hyperdimensional Computing
• Title（参考訳）: FSL-HDnn:特徴抽出と超次元計算を併用した5.7TOPS/W エンドツーエンドFew-shot Learning Classifier Accelerator
• Authors: Haichao Yang, Chang Eun Song, Weihong Xu, Behnam Khaleghi, Uday Mallappa, Monil Shah, Keming Fan, Mingu Kang, Tajana Rosing,
• Abstract要約: FSL-HDnnは、特徴抽出、分類、チップ上の数発学習のエンドツーエンドパイプラインを実装するエネルギー効率の高いアクセラレータである。 軽量クラスタリング機能抽出器と超次元コンピューティングの2つの低消費電力モジュールを統合している。 特徴1抽出には5.7TOPS/W、分類と学習には0.78TOPS/Wのエネルギー効率を達成している。
• 参考スコア（独自算出の注目度）: 8.836803844185619
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper introduces FSL-HDnn, an energy-efficient accelerator that implements the end-to-end pipeline of feature extraction, classification, and on-chip few-shot learning (FSL) through gradient-free learning techniques in a 40 nm CMOS process. At its core, FSL-HDnn integrates two low-power modules: Weight clustering feature extractor and Hyperdimensional Computing (HDC). Feature extractor utilizes advanced weight clustering and pattern reuse strategies for optimized CNN-based feature extraction. Meanwhile, HDC emerges as a novel approach for lightweight FSL classifier, employing hyperdimensional vectors to improve training accuracy significantly compared to traditional distance-based approaches. This dual-module synergy not only simplifies the learning process by eliminating the need for complex gradients but also dramatically enhances energy efficiency and performance. Specifically, FSL-HDnn achieves an Intensity unprecedented energy efficiency of 5.7 TOPS/W for feature 1 extraction and 0.78 TOPS/W for classification and learning Training Intensity phases, achieving improvements of 2.6X and 6.6X, respectively, Storage over current state-of-the-art CNN and FSL processors.
• Abstract（参考訳）: 本稿では,40nm CMOSプロセスにおける勾配なし学習技術を通じて,特徴抽出,分類,およびオンチップ数ショット学習(FSL)のエンドツーエンドパイプラインを実装したエネルギー効率の高い加速器であるFSL-HDnnを紹介する。 FSL-HDnnは、軽量クラスタリング特徴抽出器と超次元計算(HDC)の2つの低消費電力モジュールを統合している。 特徴抽出器は、最適化されたCNNに基づく特徴抽出に高度な重みクラスタリングとパターン再利用戦略を利用する。 一方,HDCは高次元ベクトルを用いた軽量FSL分類器の新しい手法として登場し,従来の距離ベース手法と比較してトレーニング精度が向上した。 この双対加群シナジーは、複雑な勾配の必要性を排除して学習プロセスを単純化するだけでなく、エネルギー効率と性能を劇的に向上させる。 具体的には、FSL-HDnnは特徴1抽出に5.7TOPS/W、訓練強度フェーズに0.78TOPS/Wのエネルギー効率を達成し、それぞれ2.6Xと6.6Xの改善を実現している。

関連論文リスト

• HASN: Hybrid Attention Separable Network for Efficient Image Super-resolution [5.110892180215454]
  単一画像の超高解像度化のための軽量な手法は、限られたハードウェアリソースのために優れた性能を達成した。 その結果, 各ブロックの残差接続により, モデルストレージと計算コストが増大することが判明した。 我々は,基本的特徴抽出モジュールとして,奥行き分離可能な畳み込み,完全連結層,アクティベーション関数を用いる。
  論文  参考訳（メタデータ） (2024-10-13T14:00:21Z)
• Hardware-Software Co-optimised Fast and Accurate Deep Reconfigurable Spiking Inference Accelerator Architecture Design Methodology [2.968768532937366]
  Spiking Neural Networks(SNN)は、機械学習モデルのエネルギー効率を改善するための有望なアプローチとして登場した。 我々は,ソフトウェア学習深層ニューラルネットワーク(DNN)を高精度スパイキングモデルに移植するハードウェア・ソフトウェア共同最適化戦略を開発した。
  論文  参考訳（メタデータ） (2024-10-07T05:04:13Z)
• Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
  本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。 この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
  論文  参考訳（メタデータ） (2024-08-26T17:03:14Z)
• Global-Local Convolution with Spiking Neural Networks for Energy-efficient Keyword Spotting [17.795498397570675]
  我々は、ニューラルネットワークのエネルギー効率をスパイクし、エンドツーエンドの軽量KWSモデルを提案する。 1)グローバル・ローカル・スパイキング・コンボリューション (GLSC) モジュールと 2) Bottleneck-PLIF モジュールである。 Bottleneck-PLIFモジュールはさらにGLSCからの信号を処理し、より少ないパラメータで高い精度を達成する。
  論文  参考訳（メタデータ） (2024-06-19T03:19:25Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• ConvBLS: An Effective and Efficient Incremental Convolutional Broad Learning System for Image Classification [63.49762079000726]
  球状K-means(SKM)アルゴリズムと2段階マルチスケール(TSMS)機能融合に基づく畳み込み広範学習システム(ConvBLS)を提案する。 提案手法は前代未聞の効率的かつ効果的である。
  論文  参考訳（メタデータ） (2023-04-01T04:16:12Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Sophisticated deep learning with on-chip optical diffractive tensor processing [5.081061839052458]
  フォトニック集積回路は、電子回路によってもたらされる帯域制限と電力ウォールを緩和するための効率的なアプローチを提供する。 我々は、オンチップ回折により、光畳み込みユニット(OCU)と呼ばれる畳み込み加速度を実装する光学コンピューティングアーキテクチャを提案する。 OCUを基本単位として、光学畳み込みニューラルネットワーク(oCNN)を構築し、分類と回帰という2つの一般的なディープラーニングタスクを実装する。
  論文  参考訳（メタデータ） (2022-12-20T03:33:26Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。