論文の概要: Sophisticated deep learning with on-chip optical diffractive tensor
processing
- arxiv url: http://arxiv.org/abs/2212.09975v1
- Date: Tue, 20 Dec 2022 03:33:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 17:27:14.283021
- Title: Sophisticated deep learning with on-chip optical diffractive tensor
processing
- Title(参考訳): オンチップ光回折テンソル処理による高度な深層学習
- Authors: Yuyao Huang, Tingzhao Fu, Honghao Huang, Sigang Yang, Hongwei Chen
- Abstract要約: フォトニック集積回路は、電子回路によってもたらされる帯域制限と電力ウォールを緩和するための効率的なアプローチを提供する。
我々は、オンチップ回折により、光畳み込みユニット(OCU)と呼ばれる畳み込み加速度を実装する光学コンピューティングアーキテクチャを提案する。
OCUを基本単位として、光学畳み込みニューラルネットワーク(oCNN)を構築し、分類と回帰という2つの一般的なディープラーニングタスクを実装する。
- 参考スコア(独自算出の注目度): 5.081061839052458
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ever-growing deep learning technologies are making revolutionary changes
for modern life. However, conventional computing architectures are designed to
process sequential and digital programs, being extremely burdened with
performing massive parallel and adaptive deep learning applications. Photonic
integrated circuits provide an efficient approach to mitigate bandwidth
limitations and power-wall brought by its electronic counterparts, showing
great potential in ultrafast and energy-free high-performance computing. Here,
we propose an optical computing architecture enabled by on-chip diffraction to
implement convolutional acceleration, termed optical convolution unit (OCU). We
demonstrate that any real-valued convolution kernels can be exploited by OCU
with a prominent computational throughput boosting via the concept of structral
re-parameterization. With OCU as the fundamental unit, we build an optical
convolutional neural network (oCNN) to implement two popular deep learning
tasks: classification and regression. For classification, Fashion-MNIST and
CIFAR-4 datasets are tested with accuracy of 91.63% and 86.25%, respectively.
For regression, we build an optical denoising convolutional neural network
(oDnCNN) to handle Gaussian noise in gray scale images with noise level
{\sigma} = 10, 15, 20, resulting clean images with average PSNR of 31.70dB,
29.39dB and 27.72dB, respectively. The proposed OCU presents remarkable
performance of low energy consumption and high information density due to its
fully passive nature and compact footprint, providing a highly parallel while
lightweight solution for future computing architecture to handle high
dimensional tensors in deep learning.
- Abstract(参考訳): 成長を続けるディープラーニング技術は、現代生活に革命的な変化をもたらしている。
しかし、従来の計算アーキテクチャはシーケンシャルおよびデジタルプログラムを処理するように設計されており、大量の並列および適応的なディープラーニングアプリケーションを実行することに非常に負担がかかる。
フォトニック集積回路は、帯域幅の制限や電子回路のパワーウォールを緩和する効率的なアプローチを提供し、超高速でエネルギーフリーな高性能コンピューティングにおいて大きな可能性を秘めている。
本稿では、オンチップ回折により、光畳み込みユニット(OCU)と呼ばれる畳み込み加速度を実装する光学コンピューティングアーキテクチャを提案する。
我々は,任意の実数値畳み込み核を,構造的再パラメータ化の概念を通じ,計算スループットが著しく向上するocuによって活用できることを実証する。
OCUを基本単位として、光学畳み込みニューラルネットワーク(oCNN)を構築し、分類と回帰という2つの一般的なディープラーニングタスクを実装する。
分類では、Fashion-MNIST と CIFAR-4 のデータセットはそれぞれ 91.63% と 86.25% の精度で検査される。
回帰のために,ノイズレベル10,15,20のグレースケール画像におけるガウス雑音を処理し,平均psnrが31.70db,29.39db,27.72dbのクリーン画像を生成するオプティカルデノイジン畳み込みニューラルネットワーク(odncnn)を構築する。
提案するocuは,完全なパッシブ性とコンパクトなフットプリントにより,低エネルギー消費と高情報密度の顕著な性能を示し,ディープラーニングにおける高次元テンソルを扱うための,高並列かつ軽量なコンピューティングアーキテクチャを提供する。
関連論文リスト
- LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。
本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。
LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
論文 参考訳(メタデータ) (2024-07-13T16:09:45Z) - Neural Network Methods for Radiation Detectors and Imaging [1.6395318070400589]
機械学習、特にディープニューラルネットワーク(DNN)の最近の進歩により、放射線検出器や撮像ハードウェアの新たな最適化と性能向上スキームが実現されている。
本稿では、光子源におけるデータ生成の概要、画像処理タスクのためのディープラーニングベースの方法、ディープラーニングアクセラレーションのためのハードウェアソリューションについて述べる。
論文 参考訳(メタデータ) (2023-11-09T20:21:51Z) - All-optical graph representation learning using integrated diffractive
photonic computing units [51.15389025760809]
フォトニックニューラルネットワークは、電子の代わりに光子を用いて脳にインスパイアされた計算を行う。
我々は、DGNN(diffractive graph neural network)と呼ばれる全光グラフ表現学習アーキテクチャを提案する。
ベンチマークデータベースを用いたノードおよびグラフレベルの分類タスクにおけるDGNN抽出機能の利用を実演し、優れた性能を実現する。
論文 参考訳(メタデータ) (2022-04-23T02:29:48Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Silicon photonic subspace neural chip for hardware-efficient deep
learning [11.374005508708995]
光ニューラルネットワーク(ONN)は次世代のニューロコンピューティングの候補として期待されている。
ハードウェア効率の良いフォトニックサブスペースニューラルネットワークアーキテクチャを考案する。
我々は,バタフライ型プログラマブルシリコンフォトニック集積回路上でPSNNを実験的に実証した。
論文 参考訳(メタデータ) (2021-11-11T06:34:05Z) - Content-Aware Convolutional Neural Networks [98.97634685964819]
畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。
本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
論文 参考訳(メタデータ) (2021-06-30T03:54:35Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳(メタデータ) (2021-03-15T12:54:26Z) - BPLight-CNN: A Photonics-based Backpropagation Accelerator for Deep
Learning [0.0]
ディープラーニングネットワークのトレーニングには、バックプロパゲーションアルゴリズム(BP)を使用しながら、ディープネットワークのさまざまな層にわたる継続的な重み付け更新が含まれる。
BPLight-CNNは、エンドツーエンドのトレーニングと予測のための世界初のフォトニックおよびメミスタベースのCNNアーキテクチャです。
論文 参考訳(メタデータ) (2021-02-19T20:00:21Z) - Ensemble learning of diffractive optical networks [0.0]
CIFAR-10試験画像の分類において, N=14, N=30 D2NNのアンサンブルが61.14%, 62.13%のブラインドテスト精度が得られることを示した。
これらの結果は、同じデータセット上の任意の回折光学ニューラルネットワーク設計により、これまで達成された最も高い推測精度を構成する。
論文 参考訳(メタデータ) (2020-09-15T05:02:50Z) - Large-scale neuromorphic optoelectronic computing with a reconfigurable
diffractive processing unit [38.898230519968116]
回折処理ユニットを構築することにより、光電子再構成可能な計算パラダイムを提案する。
異なるニューラルネットワークを効率的にサポートし、数百万のニューロンで高いモデル複雑性を達成することができる。
市販の光電子部品を用いたプロトタイプシステムは,最先端のグラフィックス処理ユニットの性能を超越している。
論文 参考訳(メタデータ) (2020-08-26T16:34:58Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28~78%の高速化を実現している。
論文 参考訳(メタデータ) (2020-07-14T18:50:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。