論文の概要: Sophisticated deep learning with on-chip optical diffractive tensor processing

• arxiv url: http://arxiv.org/abs/2212.09975v1
• Date: Tue, 20 Dec 2022 03:33:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 17:27:14.283021
• Title: Sophisticated deep learning with on-chip optical diffractive tensor processing
• Title（参考訳）: オンチップ光回折テンソル処理による高度な深層学習
• Authors: Yuyao Huang, Tingzhao Fu, Honghao Huang, Sigang Yang, Hongwei Chen
• Abstract要約: フォトニック集積回路は、電子回路によってもたらされる帯域制限と電力ウォールを緩和するための効率的なアプローチを提供する。 我々は、オンチップ回折により、光畳み込みユニット(OCU)と呼ばれる畳み込み加速度を実装する光学コンピューティングアーキテクチャを提案する。 OCUを基本単位として、光学畳み込みニューラルネットワーク(oCNN)を構築し、分類と回帰という2つの一般的なディープラーニングタスクを実装する。
• 参考スコア（独自算出の注目度）: 5.081061839052458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ever-growing deep learning technologies are making revolutionary changes for modern life. However, conventional computing architectures are designed to process sequential and digital programs, being extremely burdened with performing massive parallel and adaptive deep learning applications. Photonic integrated circuits provide an efficient approach to mitigate bandwidth limitations and power-wall brought by its electronic counterparts, showing great potential in ultrafast and energy-free high-performance computing. Here, we propose an optical computing architecture enabled by on-chip diffraction to implement convolutional acceleration, termed optical convolution unit (OCU). We demonstrate that any real-valued convolution kernels can be exploited by OCU with a prominent computational throughput boosting via the concept of structral re-parameterization. With OCU as the fundamental unit, we build an optical convolutional neural network (oCNN) to implement two popular deep learning tasks: classification and regression. For classification, Fashion-MNIST and CIFAR-4 datasets are tested with accuracy of 91.63% and 86.25%, respectively. For regression, we build an optical denoising convolutional neural network (oDnCNN) to handle Gaussian noise in gray scale images with noise level {\sigma} = 10, 15, 20, resulting clean images with average PSNR of 31.70dB, 29.39dB and 27.72dB, respectively. The proposed OCU presents remarkable performance of low energy consumption and high information density due to its fully passive nature and compact footprint, providing a highly parallel while lightweight solution for future computing architecture to handle high dimensional tensors in deep learning.
• Abstract（参考訳）: 成長を続けるディープラーニング技術は、現代生活に革命的な変化をもたらしている。 しかし、従来の計算アーキテクチャはシーケンシャルおよびデジタルプログラムを処理するように設計されており、大量の並列および適応的なディープラーニングアプリケーションを実行することに非常に負担がかかる。 フォトニック集積回路は、帯域幅の制限や電子回路のパワーウォールを緩和する効率的なアプローチを提供し、超高速でエネルギーフリーな高性能コンピューティングにおいて大きな可能性を秘めている。 本稿では、オンチップ回折により、光畳み込みユニット(OCU)と呼ばれる畳み込み加速度を実装する光学コンピューティングアーキテクチャを提案する。 我々は,任意の実数値畳み込み核を,構造的再パラメータ化の概念を通じ,計算スループットが著しく向上するocuによって活用できることを実証する。 OCUを基本単位として、光学畳み込みニューラルネットワーク(oCNN)を構築し、分類と回帰という2つの一般的なディープラーニングタスクを実装する。 分類では、Fashion-MNIST と CIFAR-4 のデータセットはそれぞれ 91.63% と 86.25% の精度で検査される。 回帰のために,ノイズレベル10,15,20のグレースケール画像におけるガウス雑音を処理し,平均psnrが31.70db,29.39db,27.72dbのクリーン画像を生成するオプティカルデノイジン畳み込みニューラルネットワーク(odncnn)を構築する。 提案するocuは,完全なパッシブ性とコンパクトなフットプリントにより,低エネルギー消費と高情報密度の顕著な性能を示し,ディープラーニングにおける高次元テンソルを扱うための,高並列かつ軽量なコンピューティングアーキテクチャを提供する。

関連論文リスト

• Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
  我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。 光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。 我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-09-01T12:48:47Z)
• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• All-optical graph representation learning using integrated diffractive photonic computing units [51.15389025760809]
  フォトニックニューラルネットワークは、電子の代わりに光子を用いて脳にインスパイアされた計算を行う。 我々は、DGNN(diffractive graph neural network)と呼ばれる全光グラフ表現学習アーキテクチャを提案する。 ベンチマークデータベースを用いたノードおよびグラフレベルの分類タスクにおけるDGNN抽出機能の利用を実演し、優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-04-23T02:29:48Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Silicon photonic subspace neural chip for hardware-efficient deep learning [11.374005508708995]
  光ニューラルネットワーク(ONN)は次世代のニューロコンピューティングの候補として期待されている。 ハードウェア効率の良いフォトニックサブスペースニューラルネットワークアーキテクチャを考案する。 我々は,バタフライ型プログラマブルシリコンフォトニック集積回路上でPSNNを実験的に実証した。
  論文  参考訳（メタデータ） (2021-11-11T06:34:05Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• BPLight-CNN: A Photonics-based Backpropagation Accelerator for Deep Learning [0.0]
  ディープラーニングネットワークのトレーニングには、バックプロパゲーションアルゴリズム(BP)を使用しながら、ディープネットワークのさまざまな層にわたる継続的な重み付け更新が含まれる。 BPLight-CNNは、エンドツーエンドのトレーニングと予測のための世界初のフォトニックおよびメミスタベースのCNNアーキテクチャです。
  論文  参考訳（メタデータ） (2021-02-19T20:00:21Z)
• Ensemble learning of diffractive optical networks [0.0]
  CIFAR-10試験画像の分類において, N=14, N=30 D2NNのアンサンブルが61.14%, 62.13%のブラインドテスト精度が得られることを示した。 これらの結果は、同じデータセット上の任意の回折光学ニューラルネットワーク設計により、これまで達成された最も高い推測精度を構成する。
  論文  参考訳（メタデータ） (2020-09-15T05:02:50Z)
• Large-scale neuromorphic optoelectronic computing with a reconfigurable diffractive processing unit [38.898230519968116]
  回折処理ユニットを構築することにより、光電子再構成可能な計算パラダイムを提案する。 異なるニューラルネットワークを効率的にサポートし、数百万のニューロンで高いモデル複雑性を達成することができる。 市販の光電子部品を用いたプロトタイプシステムは,最先端のグラフィックス処理ユニットの性能を超越している。
  論文  参考訳（メタデータ） (2020-08-26T16:34:58Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。