論文の概要: Digital Modeling on Large Kernel Metamaterial Neural Network
- arxiv url: http://arxiv.org/abs/2307.11862v1
- Date: Fri, 21 Jul 2023 19:07:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 19:17:58.242594
- Title: Digital Modeling on Large Kernel Metamaterial Neural Network
- Title（参考訳）: 大規模核メタマテリアルニューラルネットワークのディジタルモデリング
- Authors: Quan Liu, Hanyu Zheng, Brandon T. Swartz, Ho hin Lee, Zuhayr Asad,
Ivan Kravchenko, Jason G. Valentine and Yuankai Huo
- Abstract要約: 我々は,最先端(SOTA)MNNのディジタル容量を最大化する大規模カーネルメタマテリアルニューラルネットワーク(LMNN)を提案する。
提案されたLMNNでは、畳み込みフロントエンドのコストを製造された光学ハードウェアにオフロードすることができる。
- 参考スコア（独自算出の注目度）: 7.248553563042369
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks (DNNs) utilized recently are physically deployed with
computational units (e.g., CPUs and GPUs). Such a design might lead to a heavy
computational burden, significant latency, and intensive power consumption,
which are critical limitations in applications such as the Internet of Things
(IoT), edge computing, and the usage of drones. Recent advances in optical
computational units (e.g., metamaterial) have shed light on energy-free and
light-speed neural networks. However, the digital design of the metamaterial
neural network (MNN) is fundamentally limited by its physical limitations, such
as precision, noise, and bandwidth during fabrication. Moreover, the unique
advantages of MNN's (e.g., light-speed computation) are not fully explored via
standard 3x3 convolution kernels. In this paper, we propose a novel large
kernel metamaterial neural network (LMNN) that maximizes the digital capacity
of the state-of-the-art (SOTA) MNN with model re-parametrization and network
compression, while also considering the optical limitation explicitly. The new
digital learning scheme can maximize the learning capacity of MNN while
modeling the physical restrictions of meta-optic. With the proposed LMNN, the
computation cost of the convolutional front-end can be offloaded into
fabricated optical hardware. The experimental results on two publicly available
datasets demonstrate that the optimized hybrid design improved classification
accuracy while reducing computational latency. The development of the proposed
LMNN is a promising step towards the ultimate goal of energy-free and
light-speed AI.
- Abstract（参考訳）: 最近使用されているディープニューラルネットワーク(dnn)は、計算ユニット(cpuやgpuなど)を物理的にデプロイする。
このような設計は、計算上の重荷、大きなレイテンシ、集中的な電力消費につながる可能性がある。これはIoT(Internet of Things)やエッジコンピューティング、ドローンの使用など、アプリケーションにおいて重要な制限である。
光学計算ユニット(メタマテリアルなど)の最近の進歩は、エネルギーのない光速ニューラルネットワークに光を当てている。
しかし、メタマテリアルニューラルネットワーク(MNN)のディジタル設計は、製造中の精度、ノイズ、帯域幅といった物理的な制限によって基本的に制限されている。
さらに、MNNのユニークな利点(例えば、光速計算)は標準の3x3畳み込みカーネルを通して完全には探索されない。
本稿では,新しい大規模カーネルメタマテリアルニューラルネットワーク(LMNN)を提案する。これは,モデル再パラメータ化とネットワーク圧縮による最先端(SOTA)MNNのディジタルキャパシティを最大化するとともに,光学的制限を明示的に検討する。
新しいデジタル学習方式は、メタ光学の物理的制約をモデル化しながら、MNNの学習能力を最大化することができる。
提案したLMNNでは、畳み込みフロントエンドの計算コストを光学ハードウェアにオフロードすることができる。
2つの公開データセットにおける実験結果は、最適化されたハイブリッド設計により、計算遅延を低減しながら分類精度が向上したことを示している。
提案されたLMNNの開発は、エネルギーフリーで軽量なAIの究極の目標に向けた有望なステップである。
関連論文リスト
- Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - Optical Computing for Deep Neural Network Acceleration: Foundations, Recent Developments, and Emerging Directions [3.943289808718775]
我々は、ディープニューラルネットワーク(DNN)を中心に、光学コンピューティングにおける基礎と最先端の開発について論じる。
様々な有望なアプローチが、工学的な光学デバイス、光学回路の強化、様々なDNNワークロードに光コンピューティングを適応できるアーキテクチャの設計のために説明されている。
DNNモデルをインテリジェントにチューニングし、マッピングして、高性能でリソース制約のある組み込み、エッジ、IoTプラットフォームにわたる光コンピューティングプラットフォームのパフォーマンスとエネルギー効率を向上させる、ハードウェア/ソフトウェア共同設計のための新しい技術についても論じる。
論文 参考訳（メタデータ） (2024-07-30T20:50:30Z) - ExtremeMETA: High-speed Lightweight Image Segmentation Model by Remodeling Multi-channel Metamaterial Imagers [8.976310466890805]
本稿では,ExtremeC3Netに基づくカーネル軽量セグメンテーションモデルExtremeMETAを提案する。
その結果、最適化された効率的な設計により、mIoUでのセグメンテーション性能は92.45から95.97に向上し、計算FLOPは461.07 MMacから166.03 MMacに低下した。
論文 参考訳（メタデータ） (2024-05-27T18:03:37Z) - Free-Space Optical Spiking Neural Network [0.0]
自由空間光深絞り畳み込みニューラルネットワーク(OSCNN)について紹介する。
この手法は人間の眼の計算モデルからインスピレーションを得ている。
以上の結果から,電子的ONNと比較して,レイテンシと消費電力を最小に抑えた有望な性能を示す。
論文 参考訳（メタデータ） (2023-11-08T09:41:14Z) - Energy-Efficient Deployment of Machine Learning Workloads on
Neuromorphic Hardware [0.11744028458220425]
ディープラーニングハードウェアアクセラレータがいくつかリリースされ、ディープニューラルネットワーク(DNN)が消費する電力と面積の削減に特化している。
個別の時系列データで動作するスパイクニューラルネットワーク(SNN)は、特殊なニューロモルフィックイベントベース/非同期ハードウェアにデプロイすると、大幅な電力削減を実現することが示されている。
本研究では,事前学習したDNNをSNNに変換するための一般的なガイドを提供するとともに,ニューロモルフィックハードウェア上でのSNNの展開を改善するためのテクニックも提示する。
論文 参考訳（メタデータ） (2022-10-10T20:27:19Z) - Single-Shot Optical Neural Network [55.41644538483948]
深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。
我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
論文 参考訳（メタデータ） (2022-05-18T17:49:49Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - E3NE: An End-to-End Framework for Accelerating Spiking Neural Networks
with Emerging Neural Encoding on FPGAs [6.047137174639418]
エンドツーエンドフレームワークのE3NEはFPGAのための効率的なSNN推論ロジックを生成する。
E3NEはハードウェアリソースの50%未満を消費し、20%の電力を消費する一方で、レイテンシを桁違いに低減する。
論文 参考訳（メタデータ） (2021-11-19T04:01:19Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳（メタデータ） (2021-10-18T11:30:29Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。