論文の概要: Knowledge Distillation Circumvents Nonlinearity for Optical Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2102.13323v1
• Date: Fri, 26 Feb 2021 06:35:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-01 13:56:44.526359
• Title: Knowledge Distillation Circumvents Nonlinearity for Optical Convolutional Neural Networks
• Title（参考訳）: 知識蒸留による光畳み込みニューラルネットワークの非線形性
• Authors: Jinlin Xiang, Shane Colburn, Arka Majumdar, Eli Shlizerman
• Abstract要約: 本稿では、スペクトルCNN線形カウンタ部(SCLC)ネットワークアーキテクチャを提案し、非線形性の必要性を回避するための知識蒸留(KD)アプローチを開発する。 KDアプローチは、CNNの標準線形バージョンを簡単に上回るパフォーマンスを達成し、非線形ネットワークのパフォーマンスに近づくことができることを示しています。
• 参考スコア（独自算出の注目度）: 4.683612295430957
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, Convolutional Neural Networks (CNNs) have enabled ubiquitous image processing applications. As such, CNNs require fast runtime (forward propagation) to process high-resolution visual streams in real time. This is still a challenging task even with state-of-the-art graphics and tensor processing units. The bottleneck in computational efficiency primarily occurs in the convolutional layers. Performing operations in the Fourier domain is a promising way to accelerate forward propagation since it transforms convolutions into elementwise multiplications, which are considerably faster to compute for large kernels. Furthermore, such computation could be implemented using an optical 4f system with orders of magnitude faster operation. However, a major challenge in using this spectral approach, as well as in an optical implementation of CNNs, is the inclusion of a nonlinearity between each convolutional layer, without which CNN performance drops dramatically. Here, we propose a Spectral CNN Linear Counterpart (SCLC) network architecture and develop a Knowledge Distillation (KD) approach to circumvent the need for a nonlinearity and successfully train such networks. While the KD approach is known in machine learning as an effective process for network pruning, we adapt the approach to transfer the knowledge from a nonlinear network (teacher) to a linear counterpart (student). We show that the KD approach can achieve performance that easily surpasses the standard linear version of a CNN and could approach the performance of the nonlinear network. Our simulations show that the possibility of increasing the resolution of the input image allows our proposed 4f optical linear network to perform more efficiently than a nonlinear network with the same accuracy on two fundamental image processing tasks: (i) object classification and (ii) semantic segmentation.
• Abstract（参考訳）: 近年、Convolutional Neural Networks(CNN)はユビキタス画像処理アプリケーションを可能にしています。 そのため、cnnはリアルタイムに高解像度のビジュアルストリームを処理するために高速ランタイム(フォワードプロパゲーション)を必要とする。 最先端のグラフィックスやテンソル処理ユニットでも、これは難しい作業です。 計算効率のボトルネックは、主に畳み込み層に発生する。 フーリエ領域での演算の実行は、畳み込みを要素ごとの乗算に変換するため、前方伝播を加速する有望な方法である。 さらに、この計算は光学式4fシステムを用いて、桁違いに高速に計算できる。 しかしながら、cnnの光学的実装と同様に、このスペクトルアプローチを用いる際の大きな課題は、cnnの性能が劇的に低下することなく、各畳み込み層間の非線形性を含むことである。 本稿では、スペクトルCNN線形カウンタ部(SCLC)ネットワークアーキテクチャを提案し、非線形性の必要性を回避するための知識蒸留(KD)アプローチを開発し、そのようなネットワークをうまく訓練する。 KDアプローチは、機械学習においてネットワークプルーニングの効果的なプロセスとして知られているが、非線形ネットワーク(教師)から線形ネットワーク(学生)へ知識を伝達するアプローチに適応する。 KDアプローチは、CNNの標準線形バージョンを簡単に上回るパフォーマンスを達成し、非線形ネットワークのパフォーマンスに近づくことができることを示しています。 提案した4f光リニアネットワークは,入力画像の分解能を高めることにより,(i)オブジェクト分類と(ii)セマンティックセグメンテーションという2つの基本的な画像処理タスクにおいて,同じ精度で非線形ネットワークよりも効率的に動作できることを示した。

関連論文リスト

• Training Large-Scale Optical Neural Networks with Two-Pass Forward Propagation [0.0]
  本稿では、トレーニング効率、非線形関数の実装、大規模入力データ処理に関連する光学ニューラルネットワーク(ONN)の限界について述べる。 ランダムノイズによる誤差の変調と再入出力により,特定の非線形アクティベーション関数を回避する新しいトレーニング手法であるTwo-Pass Forward Propagationを導入する。 統合光学系における単純なニューラルネットワークを用いた畳み込みニューラルネットワークの新たな実装法を提案する。
  論文  参考訳（メタデータ） (2024-08-15T11:27:01Z)
• Algebraic Representations for Faster Predictions in Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおけるタスクのモデルとして一般的な選択肢である。 より簡単な勾配最適化問題を作成するために、スキップ接続を追加することもできる。 スキップ接続を持つ任意の複雑で訓練された線形CNNは単層モデルに単純化可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-14T21:10:05Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Approximation analysis of CNNs from a feature extraction view [8.94250977764275]
  我々は、深層多チャンネル畳み込みニューラルネットワーク(CNN)による線形特徴抽出のためのいくつかの解析を確立する。 マルチチャネルCNNを用いて,線形特徴抽出を効率的に行う方法を示す。 チャネルで実装された深層ネットワークによる関数近似の速度も検討した。
  論文  参考訳（メタデータ） (2022-10-14T04:09:01Z)
• GPU-Accelerated Machine Learning in Non-Orthogonal Multiple Access [71.58925117604039]
  非直交多重アクセス(Noma)は、将来の5Gおよび6Gネットワークに必要な大規模な接続を可能にする興味深い技術である。 線形処理と非線形処理の両方の利点を組み合わせたニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-06-13T09:38:23Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。