論文の概要: FatNet: High Resolution Kernels for Classification Using Fully
Convolutional Optical Neural Networks
- arxiv url: http://arxiv.org/abs/2210.16914v1
- Date: Sun, 30 Oct 2022 18:31:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 18:45:32.499430
- Title: FatNet: High Resolution Kernels for Classification Using Fully
Convolutional Optical Neural Networks
- Title（参考訳）: FatNet:完全畳み込み光学ニューラルネットワークを用いた分類のための高分解能カーネル
- Authors: Riad Ibadulla, Thomas M. Chen, Constantino Carlos Reyes-Aldasoro
- Abstract要約: 本稿では,従来のシリコン内分類網の光学的完全畳み込みニューラルネットワークへの変換について述べる。
本稿では、自由空間加速度とより互換性のある画像分類のためのFatNetを提案する。
その結果、元のネットワークに比べて6%低いコストで、畳み込み操作が8.2倍少ないことがわかった。
- 参考スコア（独自算出の注目度）: 0.3867363075280543
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper describes the transformation of a traditional in-silico
classification network into an optical fully convolutional neural network with
high-resolution feature maps and kernels. When using the free-space 4f system
to accelerate the inference speed of neural networks, higher resolutions of
feature maps and kernels can be used without the loss in frame rate. We present
FatNet for the classification of images, which is more compatible with
free-space acceleration than standard convolutional classifiers. It neglects
the standard combination of convolutional feature extraction and classifier
dense layers by performing both in one fully convolutional network. This
approach takes full advantage of the parallelism in the 4f free-space system
and performs fewer conversions between electronics and optics by reducing the
number of channels and increasing the resolution, making the network faster in
optics than off-the-shelf networks. To demonstrate the capabilities of FatNet,
it trained with the CIFAR100 dataset on GPU and the simulator of the 4f system,
then compared the results against ResNet-18. The results show 8.2 times fewer
convolution operations at the cost of only 6% lower accuracy compared to the
original network. These are promising results for the approach of training deep
learning with high-resolution kernels in the direction towards the upcoming
optics era.
- Abstract（参考訳）: 本稿では,従来のin-silico分類ネットワークを,高分解能特徴地図とカーネルを備えた光完全畳み込みニューラルネットワークへ変換する。
ニューラルネットワークの推論速度を加速するために自由空間4fシステムを使用する場合、フレームレートの損失なしに特徴マップとカーネルの高解像度を使用することができる。
本稿では,標準畳み込み型分類器よりも自由空間加速度に適合する画像分類のためのfatnetを提案する。
1つの完全畳み込みネットワークで両方を実行することにより、畳み込み特徴抽出と分類器密集層の標準的な組み合わせを無視する。
このアプローチは、4f自由空間系における並列性を最大限に活用し、チャネル数を減らし、解像度を向上することで、電子回路と光学回路間の変換を少なくし、オフザシェルフネットワークよりも高速な光ネットワークを実現する。
FatNetの能力を実証するため、GPU上のCIFAR100データセットと4fシステムのシミュレータを使ってトレーニングを行い、その結果をResNet-18と比較した。
その結果,8.2倍の畳み込み処理を,従来のネットワークに比べてわずか6%の精度で実現できた。
これらは、次の光学時代に向けて、高解像度カーネルでディープラーニングを訓練するアプローチの有望な成果である。
関連論文リスト
- Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳（メタデータ） (2023-09-26T17:42:52Z) - Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。
線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。
NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文 参考訳（メタデータ） (2023-07-27T06:59:46Z) - Connection Reduction Is All You Need [0.10878040851637998]
実証的な研究によると、畳み込みレイヤの積み重ねだけではネットワークのトレーニングが良くならない。
レイヤを接続する2つの新しいアルゴリズムを提案する。
ShortNet1は、Baselineよりも5%低いテストエラー率と25%速い推論時間を持っている。
論文 参考訳（メタデータ） (2022-08-02T13:00:35Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - FuSeConv: Fully Separable Convolutions for Fast Inference on Systolic
Arrays [2.8583189395674653]
本稿では,深度的に分離可能な畳み込みの代替としてFuSeConvを提案する。
FuSeConvは、空間次元と深さ次元に沿って分離可能な1次元の畳み込みを完全に分解する。
我々は、画像Netデータセットに匹敵する精度で、64x64サイズのシストリックアレイ上で、MobileNetのネットワークファミリで3x-7xの大幅な高速化を実現した。
論文 参考訳（メタデータ） (2021-05-27T20:19:39Z) - Knowledge Distillation Circumvents Nonlinearity for Optical
Convolutional Neural Networks [4.683612295430957]
本稿では、スペクトルCNN線形カウンタ部(SCLC)ネットワークアーキテクチャを提案し、非線形性の必要性を回避するための知識蒸留(KD)アプローチを開発する。
KDアプローチは、CNNの標準線形バージョンを簡単に上回るパフォーマンスを達成し、非線形ネットワークのパフォーマンスに近づくことができることを示しています。
論文 参考訳（メタデータ） (2021-02-26T06:35:34Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳（メタデータ） (2020-07-31T01:57:47Z) - A Light-Weighted Convolutional Neural Network for Bitemporal SAR Image
Change Detection [40.58864817923371]
計算と空間の複雑さを低減するために,軽量なニューラルネットワークを提案する。
提案するネットワークでは、通常の畳み込み層を、入力と出力の間に同じ数のチャネルを保持するボトルネック層に置き換える。
両時間SAR画像の4つのセット上で、重み付けされたニューラルネットワークを検証する。
論文 参考訳（メタデータ） (2020-05-29T04:01:32Z) - Cross-filter compression for CNN inference acceleration [4.324080238456531]
畳み込み処理において,$sim32times$メモリと$122times$メモリを節約できる新しいクロスフィルタ圧縮法を提案する。
CIFAR-10 と ImageNet のデータセットを用いて,Binary-Weight と XNOR-Net を別々に評価した。
論文 参考訳（メタデータ） (2020-05-18T19:06:14Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Computational optimization of convolutional neural networks using
separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。
畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文 参考訳（メタデータ） (2020-02-18T17:42:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。