論文の概要: Towards Efficient Hyperdimensional Computing Using Photonics

• arxiv url: http://arxiv.org/abs/2311.17801v2
• Date: Fri, 04 Oct 2024 15:26:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 15:06:11.786737
• Title: Towards Efficient Hyperdimensional Computing Using Photonics
• Title（参考訳）: フォトニクスを用いた高次元効率的な計算を目指して
• Authors: Farbin Fayza, Cansu Demirkiran, Hanning Chen, Che-Kai Liu, Avi Mohan, Hamza Errahmouni, Sanggeon Yun, Mohsen Imani, David Zhang, Darius Bunandar, Ajay Joshi,
• Abstract要約: 超次元コンピューティング(Hyperdimensional Computing、HDC)は、脳にインスパイアされた機械学習技術である。 本稿では,フォトニックコンピューティングとHDCが,フォトニックコンピューティングとディープニューラルネットワーク(DNN)よりも補完的であることを論じる。 我々は、HDCトレーニングと推論のための最初の電子フォトニック加速器であるPhotoHDCを提案する。
• 参考スコア（独自算出の注目度）: 15.975464191800773
• License:
• Abstract: Over the past few years, silicon photonics-based computing has emerged as a promising alternative to CMOS-based computing for Deep Neural Networks (DNN). Unfortunately, the non-linear operations and the high-precision requirements of DNNs make it extremely challenging to design efficient silicon photonics-based systems for DNN inference and training. Hyperdimensional Computing (HDC) is an emerging, brain-inspired machine learning technique that enjoys several advantages over existing DNNs, including being lightweight, requiring low-precision operands, and being robust to noise introduced by the nonidealities in the hardware. For HDC, computing in-memory (CiM) approaches have been widely used, as CiM reduces the data transfer cost if the operands can fit into the memory. However, inefficient multi-bit operations, high write latency, and low endurance make CiM ill-suited for HDC. On the other hand, the existing electro-photonic DNN accelerators are inefficient for HDC because they are specifically optimized for matrix multiplication in DNNs and consume a lot of power with high-precision data converters. In this paper, we argue that photonic computing and HDC complement each other better than photonic computing and DNNs, or CiM and HDC. We propose PhotoHDC, the first-ever electro-photonic accelerator for HDC training and inference, supporting the basic, record-based, and graph encoding schemes. Evaluating with popular datasets, we show that our accelerator can achieve two to five orders of magnitude lower EDP than the state-of-the-art electro-photonic DNN accelerators for implementing HDC training and inference. PhotoHDC also achieves four orders of magnitude lower energy-delay product than CiM-based accelerators for both HDC training and inference.
• Abstract（参考訳）: ここ数年、シリコンフォトニクスベースのコンピューティングは、Deep Neural Networks(DNN)のCMOSベースのコンピューティングに代わる有望な選択肢として現れてきた。 残念なことに、非線形演算とDNNの高精度要求により、DNN推論とトレーニングのための効率的なシリコンフォトニクスベースのシステムを設計するのは極めて困難である。 超次元コンピューティング(HDC)は、頭脳にインスパイアされた機械学習技術であり、軽量で、低精度のオペランドを必要とし、ハードウェアの非理想性によって導入されたノイズに対して堅牢であるなど、既存のDNNよりもいくつかの利点がある。 HDCでは、オペランドがメモリに収まる場合、CiMがデータ転送コストを削減するため、インメモリ(CiM)アプローチが広く使われている。 しかし、非効率なマルチビット演算、高書き込みレイテンシ、低持続性により、CiMはHDCに不適である。 一方、既存の電子フォトニックDNN加速器は、DNNの行列乗算に特別に最適化され、高精度なデータ変換器で多くの電力を消費するため、HDCでは非効率である。 本稿では,フォトニックコンピューティングとHDCが,フォトニックコンピューティングとDNN,あるいはCiMとHDCとを補完するものであることを論じる。 我々は、HDCトレーニングと推論のための最初の電子フォトニックアクセラレータであるPhotoHDCを提案し、基本、レコードベース、グラフ符号化スキームをサポートする。 一般的なデータセットを用いて評価した結果,HDCのトレーニングと推論を行うための最先端の電子フォトニックDNNアクセラレータよりも2～5桁のEDPを達成できることが判明した。 PhotoHDCはまた、CiMベースの加速器よりも4桁低いエネルギー遅延生成をHDCトレーニングと推論の両方で達成している。

関連論文リスト

• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
  デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。 本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。 この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
  論文  参考訳（メタデータ） (2024-04-15T09:33:09Z)
• Digital-analog hybrid matrix multiplication processor for optical neural networks [11.171425574890765]
  光ニューラルネットワーク(ONN)のためのディジタルアナログハイブリッド光コンピューティングアーキテクチャを提案する。 しきい値に基づく論理レベルと決定を導入することにより、計算精度を大幅に向上させることができる。 画素誤り率(PER)は18.2dBの信号対雑音比(SNR)で1.8times10-3$以下である。
  論文  参考訳（メタデータ） (2024-01-26T18:42:57Z)
• In-Sensor & Neuromorphic Computing are all you need for Energy Efficient Computer Vision [6.323908398583083]
  ニューロモルフィックスパイキングニューラルネットワーク(SNN)のためのインセンサ・ハードウェア・ソフトウェア協調設計フレームワークを提案する。 提案手法は,従来のCV処理と比較して,12-96倍の検知と処理の帯域幅と総エネルギーを2.32倍に削減する。
  論文  参考訳（メタデータ） (2022-12-21T09:47:52Z)
• Sophisticated deep learning with on-chip optical diffractive tensor processing [5.081061839052458]
  フォトニック集積回路は、電子回路によってもたらされる帯域制限と電力ウォールを緩和するための効率的なアプローチを提供する。 我々は、オンチップ回折により、光畳み込みユニット(OCU)と呼ばれる畳み込み加速度を実装する光学コンピューティングアーキテクチャを提案する。 OCUを基本単位として、光学畳み込みニューラルネットワーク(oCNN)を構築し、分類と回帰という2つの一般的なディープラーニングタスクを実装する。
  論文  参考訳（メタデータ） (2022-12-20T03:33:26Z)
• Single-Shot Optical Neural Network [55.41644538483948]
  深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。 我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
  論文  参考訳（メタデータ） (2022-05-18T17:49:49Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• ELight: Enabling Efficient Photonic In-Memory Neurocomputing with Life Enhancement [10.05922296357776]
  本研究では,高効率で信頼性の高い光インメモリニューロコンピューティングのための書込み作業を最小化するために,シナジスティック最適化フレームワークであるELightを提案する。 まず,重みブロック間の類似性を助長する書き込み認識学習を提案し,冗長な書き込みを排除してプログラミングの労力を削減するためのポストトレーニング最適化手法と組み合わせた。 実験によると、ELightは書き込み数と動的パワーの合計を20倍以上に削減できる。
  論文  参考訳（メタデータ） (2021-12-15T22:37:24Z)
• Silicon photonic subspace neural chip for hardware-efficient deep learning [11.374005508708995]
  光ニューラルネットワーク(ONN)は次世代のニューロコンピューティングの候補として期待されている。 ハードウェア効率の良いフォトニックサブスペースニューラルネットワークアーキテクチャを考案する。 我々は,バタフライ型プログラマブルシリコンフォトニック集積回路上でPSNNを実験的に実証した。
  論文  参考訳（メタデータ） (2021-11-11T06:34:05Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。