論文の概要: A Hybrid Quantum-Classical Approach based on the Hadamard Transform for
the Convolutional Layer
- arxiv url: http://arxiv.org/abs/2305.17510v3
- Date: Thu, 22 Feb 2024 21:38:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 18:28:39.307794
- Title: A Hybrid Quantum-Classical Approach based on the Hadamard Transform for
the Convolutional Layer
- Title（参考訳）: 畳み込み層に対するアダマール変換に基づくハイブリッド量子-古典的アプローチ
- Authors: Hongyi Pan, Xin Zhu, Salih Atici, Ahmet Enis Cetin
- Abstract要約: 本稿では,ハイブリッド量子古典計算のための新しいアダマール変換に基づくニューラルネットワーク層を提案する。
この考えは HT の畳み込み定理に基づいており、2つのベクトル間の二進畳み込みは HT 表現の要素ワイド乗法と等価である。
- 参考スコア（独自算出の注目度）: 3.316567107326828
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose a novel Hadamard Transform (HT)-based neural
network layer for hybrid quantum-classical computing. It implements the regular
convolutional layers in the Hadamard transform domain. The idea is based on the
HT convolution theorem which states that the dyadic convolution between two
vectors is equivalent to the element-wise multiplication of their HT
representation. Computing the HT is simply the application of a Hadamard gate
to each qubit individually, so the HT computations of our proposed layer can be
implemented on a quantum computer. Compared to the regular Conv2D layer, the
proposed HT-perceptron layer is computationally more efficient. Compared to a
CNN with the same number of trainable parameters and 99.26\% test accuracy, our
HT network reaches 99.31\% test accuracy with 57.1\% MACs reduced in the MNIST
dataset; and in our ImageNet-1K experiments, our HT-based ResNet-50 exceeds the
accuracy of the baseline ResNet-50 by 0.59\% center-crop top-1 accuracy using
11.5\% fewer parameters with 12.6\% fewer MACs.
- Abstract（参考訳）: 本稿では,ハイブリッド量子古典計算のための新しいアダマール変換(HT)ベースのニューラルネットワーク層を提案する。
アダマール変換領域に規則的な畳み込み層を実装する。
この考えは HT の畳み込み定理に基づいており、2つのベクトル間の二進畳み込みは HT 表現の要素ワイド乗法と等価である。
HTの計算は、単純に各キュービットに対するアダマールゲートの応用であり、提案した階層のHT計算を量子コンピュータ上で実装することができる。
通常のConv2D層と比較して、提案したHTパーセプトロン層は計算効率が良い。
同じ練習可能なパラメータ数と99.26\%のテスト精度を持つcnnと比較して、我々のhtネットワークは、mnistデータセットで57.1\%のmacで99.31\%のテスト精度に達し、imagenet-1k実験では、ベースラインresnet-50の精度を11.5\%のパラメータと12.6\%のmacで0.059\%の精度で上回っています。
関連論文リスト
- GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。
ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。
私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
論文 参考訳（メタデータ） (2023-02-09T10:17:17Z) - DCT Perceptron Layer: A Transform Domain Approach for Convolution Layer [3.506018346865459]
我々はDCT-perceptronと呼ぶ新しい離散コサイン変換(DCT)ベースのニューラルネットワーク層を提案する。
畳み込みフィルタリング操作はDCT領域で要素ワイド乗算を用いて実行される。
DCT-パーセプトロン層はパラメータの数と乗算を著しく削減する。
論文 参考訳（メタデータ） (2022-11-15T23:44:56Z) - Adaptive Split-Fusion Transformer [90.04885335911729]
本稿では,適応重みによる畳み込みと注目の分岐を異なる方法で扱うための適応分割変換器(ASF-former)を提案する。
ImageNet-1Kのような標準ベンチマークの実験では、我々のASFフォーマーはCNN、トランスフォーマー、ハイブリッドパイロットを精度で上回っている。
論文 参考訳（メタデータ） (2022-04-26T10:00:28Z) - Block Walsh-Hadamard Transform Based Binary Layers in Deep Neural
Networks [7.906608953906891]
畳み込みは、現代のディープニューラルネットワークのコアオペレーションである。
フーリエ変換の代わりに二進ブロックウォルシュ・アダマール変換(WHT)を提案する。
我々はWHTベースのバイナリレイヤを使用して、ディープニューラルネットワークの通常の畳み込みレイヤを置き換える。
論文 参考訳（メタデータ） (2022-01-07T23:52:41Z) - Pruning Neural Networks with Interpolative Decompositions [5.377278489623063]
本稿では,ニューラルネットワークのプルーニングに対する原理的アプローチを導入し,その問題を低ランク行列近似として定式化する。
まず、プリミティブのセットを構築して、1つの完全に接続された畳み込み層をプルークする方法を実証する。
我々は,CIFAR-10上でVGG-16を用いて93.62$pm$0.36%の精度を実現し,FLOPSを51%削減した。
論文 参考訳（メタデータ） (2021-07-30T20:13:49Z) - Fast Walsh-Hadamard Transform and Smooth-Thresholding Based Binary
Layers in Deep Neural Networks [0.0]
本研究では,WHT(Fast Walsh-Hadamard transform)とスムーススホールディングに基づく層を提案し,深層ニューラルネットワークにおける1回1$の畳み込み層を置き換える。
これら2種類のレイヤを使用して、MobileNet-V2のボトルネック層を置き換え、ネットワークのパラメータ数をわずかに減らし、精度を低下させます。
論文 参考訳（メタデータ） (2021-04-14T19:23:36Z) - A complete, parallel and autonomous photonic neural network in a
semiconductor multimode laser [0.0]
本稿では,効率良く高速な半導体レーザの空間分布モードを用いて,完全並列かつ完全に実装されたフォトニックニューラルネットワークを実現する方法を示す。
重要なことは、すべてのニューラルネットワーク接続はハードウェアで実現され、プロセッサは前処理または後処理なしで結果を生成します。
読み出し重みを訓練して、2ビットヘッダ認識、2ビットXOR、2ビットデジタルアナログ変換を行い、0.9-103と2.9 10-2の誤り率をそれぞれ取得する。
論文 参考訳（メタデータ） (2020-12-21T07:03:43Z) - DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。
従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-06-22T06:57:10Z) - Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。
我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。
すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
論文 参考訳（メタデータ） (2020-03-25T17:54:38Z) - Kernel Quantization for Efficient Network Compression [59.55192551370948]
Kernel Quantization(KQ)は、事前訓練された全精度畳み込みニューラルネットワーク(CNN)モデルを、大幅なパフォーマンス損失のない低精度バージョンに効率的に変換することを目的としている。
重み付けからフィルタプルーニングへの進化に触発され,カーネルレベルと重み付けレベルの両方で定量化することを提案する。
ImageNet分類タスクの実験では、KQはVGGとResNet18でそれぞれ平均1.05ビットと1.62ビットを必要とし、畳み込み層の各パラメータを表す。
論文 参考訳（メタデータ） (2020-03-11T08:00:04Z) - End-to-End Multi-speaker Speech Recognition with Transformer [88.22355110349933]
音声認識モデルにおけるRNNベースのエンコーダデコーダをトランスフォーマーアーキテクチャに置き換える。
また、計算量を削減するために、シーケンス全体ではなくセグメントに制限されるセルフアテンションコンポーネントを変更します。
論文 参考訳（メタデータ） (2020-02-10T16:29:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。