論文の概要: Rubik's Optical Neural Networks: Multi-task Learning with Physics-aware
Rotation Architecture
- arxiv url: http://arxiv.org/abs/2304.12985v2
- Date: Tue, 2 May 2023 15:40:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-03 16:49:01.430440
- Title: Rubik's Optical Neural Networks: Multi-task Learning with Physics-aware
Rotation Architecture
- Title(参考訳): Rubikの光ニューラルネットワーク:物理対応ローテーションアーキテクチャによるマルチタスク学習
- Authors: Yingjie Li, Weilu Gao, Cunxi Yu
- Abstract要約: この研究は、光システムの物理的特性を利用して複数のフィードフォワード関数を符号化する新しいONNアーキテクチャ、すなわち textitRubikONN を提示する。
実験の結果, 最先端の手法と比較して, 限界精度でエネルギーとコスト効率が4ドル以上向上していることがわかった。
- 参考スコア(独自算出の注目度): 14.55785957623462
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, there are increasing efforts on advancing optical neural networks
(ONNs), which bring significant advantages for machine learning (ML) in terms
of power efficiency, parallelism, and computational speed. With the
considerable benefits in computation speed and energy efficiency, there are
significant interests in leveraging ONNs into medical sensing, security
screening, drug detection, and autonomous driving. However, due to the
challenge of implementing reconfigurability, deploying multi-task learning
(MTL) algorithms on ONNs requires re-building and duplicating the physical
diffractive systems, which significantly degrades the energy and cost
efficiency in practical application scenarios. This work presents a novel ONNs
architecture, namely, \textit{RubikONNs}, which utilizes the physical
properties of optical systems to encode multiple feed-forward functions by
physically rotating the hardware similarly to rotating a \textit{Rubik's Cube}.
To optimize MTL performance on RubikONNs, two domain-specific physics-aware
training algorithms \textit{RotAgg} and \textit{RotSeq} are proposed. Our
experimental results demonstrate more than 4$\times$ improvements in energy and
cost efficiency with marginal accuracy degradation compared to the
state-of-the-art approaches.
- Abstract(参考訳): 近年、電力効率、並列性、計算速度の面で機械学習(ML)に大きな利点をもたらす光学ニューラルネットワーク(ONN)の進歩への取り組みが増えている。
計算速度とエネルギー効率にかなりの利点があるため、onnを医療センシング、セキュリティスクリーニング、薬物検出、自動運転に活用することには大きな関心がある。
しかしながら、再構成可能性を実装することの難しさから、マルチタスク学習(mtl)アルゴリズムをonnにデプロイするには、実際のアプリケーションシナリオにおけるエネルギーとコスト効率を大幅に低下させる物理的拡散システムの再構築と複製が必要となる。
この論文は、光学系の物理的性質を利用して複数のフィードフォワード関数をエンコードし、 \textit{rubik's cube} を回転させるのと同様にハードウェアを物理的に回転させることによって、新しい onns アーキテクチャ、すなわち \textit{rubikonns} を提案する。
RubikONN 上での MTL 性能を最適化するために,ドメイン固有の物理認識トレーニングアルゴリズム \textit{RotAgg} と \textit{RotSeq} を提案する。
実験の結果, 最先端の手法と比較して, エネルギーとコストの効率が改善し, 限界精度が低下することを示した。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - Fast GraspNeXt: A Fast Self-Attention Neural Network Architecture for
Multi-task Learning in Computer Vision Tasks for Robotic Grasping on the Edge [80.88063189896718]
アーキテクチャと計算の複雑さが高いと、組み込みデバイスへのデプロイに適さない。
Fast GraspNeXtは、ロボットグルーピングのためのコンピュータビジョンタスクに埋め込まれたマルチタスク学習に適した、高速な自己認識型ニューラルネットワークアーキテクチャである。
論文 参考訳(メタデータ) (2023-04-21T18:07:14Z) - Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。
この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
論文 参考訳(メタデータ) (2022-12-29T15:10:59Z) - Energy Efficient Hardware Acceleration of Neural Networks with
Power-of-Two Quantisation [0.0]
我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
論文 参考訳(メタデータ) (2022-09-30T06:33:40Z) - Physics-aware Differentiable Discrete Codesign for Diffractive Optical
Neural Networks [12.952987240366781]
本研究は,Diffractive Optical Neural Network (DONN) の効率的なトレーニングを可能にする,新しいデバイス間ハードウェア・ソフトウェア符号フレームワークを提案する。
Gumbel-Softmaxは、現実世界のデバイスパラメータからDONNの前方関数への微分可能な離散マッピングを可能にするために使用される。
その結果,提案手法は従来の量子化法に比べて大きな利点があることがわかった。
論文 参考訳(メタデータ) (2022-09-28T17:13:28Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳(メタデータ) (2022-01-18T13:59:22Z) - Silicon photonic subspace neural chip for hardware-efficient deep
learning [11.374005508708995]
光ニューラルネットワーク(ONN)は次世代のニューロコンピューティングの候補として期待されている。
ハードウェア効率の良いフォトニックサブスペースニューラルネットワークアーキテクチャを考案する。
我々は,バタフライ型プログラマブルシリコンフォトニック集積回路上でPSNNを実験的に実証した。
論文 参考訳(メタデータ) (2021-11-11T06:34:05Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳(メタデータ) (2021-03-15T12:54:26Z) - Ps and Qs: Quantization-aware pruning for efficient low latency neural
network inference [56.24109486973292]
超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。
量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
論文 参考訳(メタデータ) (2021-02-22T19:00:05Z) - Real-time Multi-Task Diffractive Deep Neural Networks via
Hardware-Software Co-design [1.6066483376871004]
本研究は,d$2$nnsでロバストかつノイズ耐性のあるマルチタスク学習を実現する,新しいハードウェアソフトウェア共同設計手法を提案する。
私たちの実験結果は、汎用性とハードウェア効率の大幅な改善を示し、提案されたマルチタスクD$2$NNアーキテクチャの堅牢性を実証します。
論文 参考訳(メタデータ) (2020-12-16T12:29:54Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳(メタデータ) (2020-08-29T08:39:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。