論文の概要: Acceleration Method for Learning Fine-Layered Optical Neural Networks
- arxiv url: http://arxiv.org/abs/2109.01731v1
- Date: Wed, 1 Sep 2021 06:46:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-12 10:56:34.558767
- Title: Acceleration Method for Learning Fine-Layered Optical Neural Networks
- Title（参考訳）: 微細層光ニューラルネットワークの高速化法
- Authors: Kazuo Aoyama, Hiroshi Sawada
- Abstract要約: 光ニューラルネットワーク(ONN)はその高速かつ低消費電力な動作のために有望なシステムである。
本稿では,MZIパラメータを学習するための加速度法を提案する。
本手法は従来の自動微分の20倍の速度で動作可能であることを示す。
- 参考スコア（独自算出の注目度）: 9.000491000645281
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An optical neural network (ONN) is a promising system due to its high-speed
and low-power operation. Its linear unit performs a multiplication of an input
vector and a weight matrix in optical analog circuits. Among them, a circuit
with a multiple-layered structure of programmable Mach-Zehnder interferometers
(MZIs) can realize a specific class of unitary matrices with a limited number
of MZIs as its weight matrix. The circuit is effective for balancing the number
of programmable MZIs and ONN performance. However, it takes a lot of time to
learn MZI parameters of the circuit with a conventional automatic
differentiation (AD), which machine learning platforms are equipped with. To
solve the time-consuming problem, we propose an acceleration method for
learning MZI parameters. We create customized complex-valued derivatives for an
MZI, exploiting Wirtinger derivatives and a chain rule. They are incorporated
into our newly developed function module implemented in C++ to collectively
calculate their values in a multi-layered structure. Our method is simple,
fast, and versatile as well as compatible with the conventional AD. We
demonstrate that our method works 20 times faster than the conventional AD when
a pixel-by-pixel MNIST task is performed in a complex-valued recurrent neural
network with an MZI-based hidden unit.
- Abstract（参考訳）: 光ニューラルネットワーク(ONN)はその高速かつ低消費電力な動作のために有望なシステムである。
その線形ユニットは、光アナログ回路において入力ベクトルと重み行列の乗算を行う。
これらのうち、プログラム可能なマッハ・ツェンダー干渉計(MZI)の多層構造を持つ回路は、その重み行列として限られた数のMZIを持つユニタリ行列の特定のクラスを実現することができる。
この回路は、プログラマブルMZIとONN性能のバランスをとるのに有効である。
しかし、機械学習プラットフォームが備えている従来の自動微分(AD)により、回路のMZIパラメータを学習するには多くの時間がかかる。
そこで本研究では,MZIパラメータを学習するための高速化手法を提案する。
我々は、mzi用に、wirtinger誘導体とチェーンルールを利用して、カスタマイズされた複素値導関数を作成する。
C++で実装した新しい関数モジュールに組み込まれ,その値を多層構造にまとめて計算する。
我々の手法は単純で高速で多用途であり、従来のADと互換性がある。
本手法は,MZIをベースとした複素数値再帰ニューラルネットワークにおいて,画素単位のMNISTタスクを実行する場合,従来のADよりも20倍高速に動作することを示す。
関連論文リスト
- A Nonoverlapping Domain Decomposition Method for Extreme Learning Machines: Elliptic Problems [0.0]
エクストリーム・ラーニング・マシン(ELM)は、単一層フィードフォワードニューラルネットワークを用いて偏微分方程式(PDE)を解く手法である。
本稿では,EMMのトレーニング時間を短縮するだけでなく,並列計算にも適する非重複領域分解法(DDM)を提案する。
論文 参考訳（メタデータ） (2024-06-22T23:25:54Z) - Deep Learning Assisted Multiuser MIMO Load Modulated Systems for
Enhanced Downlink mmWave Communications [68.96633803796003]
本稿では, マルチユーザ負荷変調アレイ (MU-LMA) に着目し, マイクロウェーブ (mmWave) マルチインプット・マルチアウトプット (MIMO) システムにおいて, マルチユーザ負荷変調アレイ (MU-LMA) の小型化とコスト削減を図っている。
ダウンリンクMU-LMAの既存のプリコーディングアルゴリズムは、自由度と複雑なシステム構成の低下に悩まされるサブアレイ構造化(SAS)送信機に依存している。
本稿では,FAS (Full-array Structured) 送信機を用いたMU-LMAシステムを提案し,それに応じて2つのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-08T08:54:56Z) - Deep learning applied to computational mechanics: A comprehensive
review, state of the art, and the classics [77.34726150561087]
人工知能,特に深層学習(DL)の最近の進歩を概観する。
ハイブリッドおよび純粋機械学習(ML)の手法について論じる。
AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
論文 参考訳（メタデータ） (2022-12-18T02:03:00Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Scalable Nanophotonic-Electronic Spiking Neural Networks [3.9918594409417576]
スパイキングニューラルネットワーク(SNN)は、高度に並列化されたリアルタイム処理が可能な新しい計算パラダイムを提供する。
フォトニックデバイスは、SNN計算パラダイムに適合する高帯域並列アーキテクチャの設計に最適である。
CMOSとSiPhの併用技術はスケーラブルなSNNコンピューティングアーキテクチャの設計に適している。
論文 参考訳（メタデータ） (2022-08-28T06:10:06Z) - A Deep Learning Inference Scheme Based on Pipelined Matrix
Multiplication Acceleration Design and Non-uniform Quantization [9.454905560571085]
本稿では,パイプライン行列乗算法と非一様量子化法に基づく低消費電力多層パーセプトロン(MLP)加速器を提案する。
その結果,本手法は少ない消費電力で優れた性能が得られることがわかった。
論文 参考訳（メタデータ） (2021-10-10T17:31:27Z) - Adaptive Machine Learning for Time-Varying Systems: Low Dimensional
Latent Space Tuning [91.3755431537592]
本稿では,時間変化システムを対象とした適応機械学習手法を提案する。
我々は,エンコーダデコーダCNNのエンコーダ部出力において,非常に高次元(N>100k)の入力を低次元(N2)潜在空間にマッピングする。
そこで本手法では,割り込みを伴わないフィードバックに基づいて,内部の相関関係を学習し,その進化をリアルタイムで追跡する。
論文 参考訳（メタデータ） (2021-07-13T16:05:28Z) - Harnessing Tensor Structures -- Multi-Mode Reservoir Computing and Its
Application in Massive MIMO [39.46260351352041]
新しいニューラルネットワーク(NN)構造、マルチモード貯留層コンピューティング(マルチモードRC)を紹介します。
マルチモードRCベースの学習フレームワークは、無線システムの実用的制約を効果的に効果的に対処することができる。
論文 参考訳（メタデータ） (2021-01-25T20:30:22Z) - Joint Deep Reinforcement Learning and Unfolding: Beam Selection and
Precoding for mmWave Multiuser MIMO with Lens Arrays [54.43962058166702]
離散レンズアレイを用いたミリ波マルチユーザマルチインプット多重出力(MU-MIMO)システムに注目が集まっている。
本研究では、DLA を用いた mmWave MU-MIMO システムのビームプリコーディング行列の共同設計について検討する。
論文 参考訳（メタデータ） (2021-01-05T03:55:04Z) - On-Chip Error-triggered Learning of Multi-layer Memristive Spiking
Neural Networks [1.7958576850695402]
オンライン3次重み更新を用いた局所的,勾配に基づく,エラートリガー付き学習アルゴリズムを提案する。
提案アルゴリズムは,多層SNNを記憶型ニューロモルフィックハードウェアでオンライントレーニングすることを可能にする。
論文 参考訳（メタデータ） (2020-11-21T19:44:19Z) - Deep Multi-Task Learning for Cooperative NOMA: System Design and
Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。
我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-07-27T12:38:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。