論文の概要: Knowledge Distillation Circumvents Nonlinearity for Optical
Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2102.13323v1
- Date: Fri, 26 Feb 2021 06:35:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-01 13:56:44.526359
- Title: Knowledge Distillation Circumvents Nonlinearity for Optical
Convolutional Neural Networks
- Title(参考訳): 知識蒸留による光畳み込みニューラルネットワークの非線形性
- Authors: Jinlin Xiang, Shane Colburn, Arka Majumdar, Eli Shlizerman
- Abstract要約: 本稿では、スペクトルCNN線形カウンタ部(SCLC)ネットワークアーキテクチャを提案し、非線形性の必要性を回避するための知識蒸留(KD)アプローチを開発する。
KDアプローチは、CNNの標準線形バージョンを簡単に上回るパフォーマンスを達成し、非線形ネットワークのパフォーマンスに近づくことができることを示しています。
- 参考スコア(独自算出の注目度): 4.683612295430957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, Convolutional Neural Networks (CNNs) have enabled ubiquitous
image processing applications. As such, CNNs require fast runtime (forward
propagation) to process high-resolution visual streams in real time. This is
still a challenging task even with state-of-the-art graphics and tensor
processing units. The bottleneck in computational efficiency primarily occurs
in the convolutional layers. Performing operations in the Fourier domain is a
promising way to accelerate forward propagation since it transforms
convolutions into elementwise multiplications, which are considerably faster to
compute for large kernels. Furthermore, such computation could be implemented
using an optical 4f system with orders of magnitude faster operation. However,
a major challenge in using this spectral approach, as well as in an optical
implementation of CNNs, is the inclusion of a nonlinearity between each
convolutional layer, without which CNN performance drops dramatically. Here, we
propose a Spectral CNN Linear Counterpart (SCLC) network architecture and
develop a Knowledge Distillation (KD) approach to circumvent the need for a
nonlinearity and successfully train such networks. While the KD approach is
known in machine learning as an effective process for network pruning, we adapt
the approach to transfer the knowledge from a nonlinear network (teacher) to a
linear counterpart (student). We show that the KD approach can achieve
performance that easily surpasses the standard linear version of a CNN and
could approach the performance of the nonlinear network. Our simulations show
that the possibility of increasing the resolution of the input image allows our
proposed 4f optical linear network to perform more efficiently than a nonlinear
network with the same accuracy on two fundamental image processing tasks: (i)
object classification and (ii) semantic segmentation.
- Abstract(参考訳): 近年、Convolutional Neural Networks(CNN)はユビキタス画像処理アプリケーションを可能にしています。
そのため、cnnはリアルタイムに高解像度のビジュアルストリームを処理するために高速ランタイム(フォワードプロパゲーション)を必要とする。
最先端のグラフィックスやテンソル処理ユニットでも、これは難しい作業です。
計算効率のボトルネックは、主に畳み込み層に発生する。
フーリエ領域での演算の実行は、畳み込みを要素ごとの乗算に変換するため、前方伝播を加速する有望な方法である。
さらに、この計算は光学式4fシステムを用いて、桁違いに高速に計算できる。
しかしながら、cnnの光学的実装と同様に、このスペクトルアプローチを用いる際の大きな課題は、cnnの性能が劇的に低下することなく、各畳み込み層間の非線形性を含むことである。
本稿では、スペクトルCNN線形カウンタ部(SCLC)ネットワークアーキテクチャを提案し、非線形性の必要性を回避するための知識蒸留(KD)アプローチを開発し、そのようなネットワークをうまく訓練する。
KDアプローチは、機械学習においてネットワークプルーニングの効果的なプロセスとして知られているが、非線形ネットワーク(教師)から線形ネットワーク(学生)へ知識を伝達するアプローチに適応する。
KDアプローチは、CNNの標準線形バージョンを簡単に上回るパフォーマンスを達成し、非線形ネットワークのパフォーマンスに近づくことができることを示しています。
提案した4f光リニアネットワークは,入力画像の分解能を高めることにより,(i)オブジェクト分類と(ii)セマンティックセグメンテーションという2つの基本的な画像処理タスクにおいて,同じ精度で非線形ネットワークよりも効率的に動作できることを示した。
関連論文リスト
- Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳(メタデータ) (2023-10-11T12:46:11Z) - Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。
線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。
NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文 参考訳(メタデータ) (2023-07-27T06:59:46Z) - Deep Spiking-UNet for Image Processing [101.4553345195388]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳(メタデータ) (2023-07-20T16:00:19Z) - Approximation analysis of CNNs from a feature extraction view [8.94250977764275]
我々は、深層多チャンネル畳み込みニューラルネットワーク(CNN)による線形特徴抽出のためのいくつかの解析を確立する。
マルチチャネルCNNを用いて,線形特徴抽出を効率的に行う方法を示す。
チャネルで実装された深層ネットワークによる関数近似の速度も検討した。
論文 参考訳(メタデータ) (2022-10-14T04:09:01Z) - Frequency-Encoded Deep Learning with Speed-of-Light Dominated Latency [0.0]
本稿では,周波数領域のデータを符号化して行列ベクトル積を単一ショットで計算する乗法的アナログ周波数変換光学ニューラルネットワーク(MAFT-ONN)を提案する。
これは音声や無線信号のような時間波形のアナログ推論に適した最初のハードウェアアクセラレータであり、帯域幅制限スループットと光速制限レイテンシを実現している。
論文 参考訳(メタデータ) (2022-07-08T16:37:13Z) - GPU-Accelerated Machine Learning in Non-Orthogonal Multiple Access [71.58925117604039]
非直交多重アクセス(Noma)は、将来の5Gおよび6Gネットワークに必要な大規模な接続を可能にする興味深い技術である。
線形処理と非線形処理の両方の利点を組み合わせたニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-06-13T09:38:23Z) - The Surprising Simplicity of the Early-Time Learning Dynamics of Neural
Networks [43.860358308049044]
研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。
この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
論文 参考訳(メタデータ) (2020-06-25T17:42:49Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳(メタデータ) (2020-03-03T07:27:44Z) - Computational optimization of convolutional neural networks using
separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。
畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文 参考訳(メタデータ) (2020-02-18T17:42:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。