論文の概要: Digital-analog hybrid matrix multiplication processor for optical neural
networks
- arxiv url: http://arxiv.org/abs/2401.15061v1
- Date: Fri, 26 Jan 2024 18:42:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-29 14:16:09.780977
- Title: Digital-analog hybrid matrix multiplication processor for optical neural
networks
- Title（参考訳）: 光ニューラルネットワーク用ディジタル-アナログハイブリッド行列乗算処理装置
- Authors: Xiansong Meng, Deming Kong, Kwangwoong Kim, Qiuchi Li, Po Dong,
Ingemar J. Cox, Christina Lioma, and Hao Hu
- Abstract要約: 光ニューラルネットワーク(ONN)のためのディジタルアナログハイブリッド光コンピューティングアーキテクチャを提案する。
しきい値に基づく論理レベルと決定を導入することにより、計算精度を大幅に向上させることができる。
画素誤り率(PER)は18.2dBの信号対雑音比(SNR)で1.8times10-3$以下である。
- 参考スコア（独自算出の注目度）: 11.171425574890765
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The computational demands of modern AI have spurred interest in optical
neural networks (ONNs) which offer the potential benefits of increased speed
and lower power consumption. However, current ONNs face various challenges,most
significantly a limited calculation precision (typically around 4 bits) and the
requirement for high-resolution signal format converters (digital-to-analogue
conversions (DACs) and analogue-to-digital conversions (ADCs)). These
challenges are inherent to their analog computing nature and pose significant
obstacles in practical implementation. Here, we propose a digital-analog hybrid
optical computing architecture for ONNs, which utilizes digital optical inputs
in the form of binary words. By introducing the logic levels and decisions
based on thresholding, the calculation precision can be significantly enhanced.
The DACs for input data can be removed and the resolution of the ADCs can be
greatly reduced. This can increase the operating speed at a high calculation
precision and facilitate the compatibility with microelectronics. To validate
our approach, we have fabricated a proof-of-concept photonic chip and built up
a hybrid optical processor (HOP) system for neural network applications. We
have demonstrated an unprecedented 16-bit calculation precision for
high-definition image processing, with a pixel error rate (PER) as low as
$1.8\times10^{-3}$ at an signal-to-noise ratio (SNR) of 18.2 dB. We have also
implemented a convolutional neural network for handwritten digit recognition
that shows the same accuracy as the one achieved by a desktop computer. The
concept of the digital-analog hybrid optical computing architecture offers a
methodology that could potentially be applied to various ONN implementations
and may intrigue new research into efficient and accurate domain-specific
optical computing architectures for neural networks.
- Abstract（参考訳）: 現代のAIの計算要求は、高速化と消費電力削減の潜在的なメリットを提供する光学ニューラルネットワーク(ONN)への関心を喚起している。
しかし、現在のONNは計算精度がほとんど(典型的には4ビット程度)、高分解能信号フォーマット変換器(DAC)とアナログ-アナログ変換(ADC)が要求されるなど、様々な課題に直面している。
これらの課題はアナログコンピューティングの性質に固有のものであり、実用的な実装において大きな障害となる。
本稿では,2進語形式のディジタル光入力を利用するONNのためのディジタルアナログハイブリッド光コンピューティングアーキテクチャを提案する。
しきい値に基づく論理レベルと決定を導入することで、計算精度を大幅に向上させることができる。
入力データのDACを除去でき、ADCの解像度を大幅に低減することができる。
これにより、高い計算精度で動作速度が向上し、マイクロエレクトロニクスとの互換性が向上する。
提案手法を検証するために,概念実証フォトニックチップを開発し,ニューラルネットワーク応用のためのハイブリッド光プロセッサ(HOP)システムを構築した。
我々は,高精細画像処理における16ビットの計算精度を実証し,画素誤差率(PER)を18.2dBの信号対雑音比(SNR)で1.8\times10^{-3}$とした。
また,手書き文字認識のための畳み込みニューラルネットワークを実装し,デスクトップコンピュータが達成したのと同じ精度を示す。
デジタルアナログハイブリッド光コンピューティングアーキテクチャの概念は、様々なONN実装に適用可能な方法論を提供し、ニューラルネットワークのための効率的で正確なドメイン固有光コンピューティングアーキテクチャに関する新たな研究を誘致する可能性がある。
関連論文リスト
- Transferable polychromatic optical encoder for neural networks [13.311727599288524]
本稿では,画像キャプチャ中に3つの色チャネルで同時に畳み込みを行う光学エンコーダを実演する。
このような光学符号化は計算処理を24,000倍に削減し、自由空間光学系における最先端の分類精度(73.2%)が得られる。
論文 参考訳（メタデータ） (2024-11-05T00:49:47Z) - Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。
光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。
我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
論文 参考訳（メタデータ） (2024-09-01T12:48:47Z) - 1-bit Quantized On-chip Hybrid Diffraction Neural Network Enabled by Authentic All-optical Fully-connected Architecture [4.594367761345624]
本研究では,行列乗算をDNNに組み込んだ新しいアーキテクチャであるHybrid Diffraction Neural Network(HDNN)を紹介する。
特異位相変調層と振幅変調層を用いて、トレーニングされたニューラルネットワークは、数字認識タスクにおいて96.39%と89%の顕著な精度を示した。
論文 参考訳（メタデータ） (2024-04-11T02:54:17Z) - Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。
有望な解決策の1つは、アナログコンピューティングを再考することである。
ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文 参考訳（メタデータ） (2023-11-13T08:59:01Z) - Sophisticated deep learning with on-chip optical diffractive tensor
processing [5.081061839052458]
フォトニック集積回路は、電子回路によってもたらされる帯域制限と電力ウォールを緩和するための効率的なアプローチを提供する。
我々は、オンチップ回折により、光畳み込みユニット(OCU)と呼ばれる畳み込み加速度を実装する光学コンピューティングアーキテクチャを提案する。
OCUを基本単位として、光学畳み込みニューラルネットワーク(oCNN)を構築し、分類と回帰という2つの一般的なディープラーニングタスクを実装する。
論文 参考訳（メタデータ） (2022-12-20T03:33:26Z) - Single-Shot Optical Neural Network [55.41644538483948]
深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。
我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
論文 参考訳（メタデータ） (2022-05-18T17:49:49Z) - Experimentally realized in situ backpropagation for deep learning in
nanophotonic neural networks [0.7627023515997987]
私たちは、カスタムデザインの「フォトニックメッシュ」アクセラレーターをカスケードする、大量製造可能なシリコンフォトニックニューラルネットワークを設計します。
In situ backproagation を初めて示し、分類課題を解く。
本研究は、フォトニクス加速人工知能の新しいトレーニングパラダイムを、一般的なバックプロパゲーション手法の物理的類似に基づいて提案するものであることを示唆する。
論文 参考訳（メタデータ） (2022-05-17T17:13:50Z) - All-optical graph representation learning using integrated diffractive
photonic computing units [51.15389025760809]
フォトニックニューラルネットワークは、電子の代わりに光子を用いて脳にインスパイアされた計算を行う。
我々は、DGNN(diffractive graph neural network)と呼ばれる全光グラフ表現学習アーキテクチャを提案する。
ベンチマークデータベースを用いたノードおよびグラフレベルの分類タスクにおけるDGNN抽出機能の利用を実演し、優れた性能を実現する。
論文 参考訳（メタデータ） (2022-04-23T02:29:48Z) - Rapid characterisation of linear-optical networks via PhaseLift [51.03305009278831]
集積フォトニクスは優れた位相安定性を提供し、半導体産業によって提供される大規模な製造性に依存することができる。
このような光回路に基づく新しいデバイスは、機械学習アプリケーションにおいて高速でエネルギー効率の高い計算を約束する。
線形光ネットワークの転送行列を再構成する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-01T16:04:22Z) - Large-scale neuromorphic optoelectronic computing with a reconfigurable
diffractive processing unit [38.898230519968116]
回折処理ユニットを構築することにより、光電子再構成可能な計算パラダイムを提案する。
異なるニューラルネットワークを効率的にサポートし、数百万のニューロンで高いモデル複雑性を達成することができる。
市販の光電子部品を用いたプロトタイプシステムは,最先端のグラフィックス処理ユニットの性能を超越している。
論文 参考訳（メタデータ） (2020-08-26T16:34:58Z) - Computational optimization of convolutional neural networks using
separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。
畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文 参考訳（メタデータ） (2020-02-18T17:42:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。