論文の概要: Deep Convolutional Tables: Deep Learning without Convolutions
- arxiv url: http://arxiv.org/abs/2304.11706v1
- Date: Sun, 23 Apr 2023 17:49:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 16:56:09.408355
- Title: Deep Convolutional Tables: Deep Learning without Convolutions
- Title(参考訳): Deep Convolutional Tables: 畳み込みのないディープラーニング
- Authors: Shay Dekel, Yosi Keller, Aharon Bar-Hillel
- Abstract要約: 本稿では,ドット生成ニューロンを使用しず,代わりに投票表の階層に依存するディープネットワークの新たな定式化を提案する。
ディープCTネットワークは、類似アーキテクチャのCNNに匹敵する精度を持つことが実験的に示されている。
- 参考スコア(独自算出の注目度): 12.069186324544347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel formulation of deep networks that do not use dot-product
neurons and rely on a hierarchy of voting tables instead, denoted as
Convolutional Tables (CT), to enable accelerated CPU-based inference.
Convolutional layers are the most time-consuming bottleneck in contemporary
deep learning techniques, severely limiting their use in Internet of Things and
CPU-based devices. The proposed CT performs a fern operation at each image
location: it encodes the location environment into a binary index and uses the
index to retrieve the desired local output from a table. The results of
multiple tables are combined to derive the final output. The computational
complexity of a CT transformation is independent of the patch (filter) size and
grows gracefully with the number of channels, outperforming comparable
convolutional layers. It is shown to have a better capacity:compute ratio than
dot-product neurons, and that deep CT networks exhibit a universal
approximation property similar to neural networks. As the transformation
involves computing discrete indices, we derive a soft relaxation and
gradient-based approach for training the CT hierarchy. Deep CT networks have
been experimentally shown to have accuracy comparable to that of CNNs of
similar architectures. In the low compute regime, they enable an error:speed
trade-off superior to alternative efficient CNN architectures.
- Abstract(参考訳): 本稿では, ドット生成ニューロンを使用しず, 代わりに, 畳み込みテーブル (CT) と呼ばれる投票表階層に依存するディープネットワークの新たな定式化を提案し, 高速化されたCPUベースの推論を実現する。
畳み込み層は、現代のディープラーニング技術で最も時間を要するボトルネックであり、モノのインターネットやcpuベースのデバイスでの使用を厳しく制限している。
提案するctは、各画像位置でfern操作を実行する。位置環境をバイナリインデックスにエンコードし、インデックスを使用してテーブルから所望のローカル出力を取得する。
複数のテーブルの結果を組み合わせて最終的な出力を導出する。
CT変換の計算複雑性はパッチ(フィルタ)サイズとは独立であり、チャネルの数によって優雅に成長し、同等の畳み込み層を上回る。
ドット生成ニューロンよりも計算比が優れており、深部CTネットワークはニューラルネットワークと同様の普遍的な近似特性を示す。
この変換は離散的な指標の計算を伴うため、CT階層を訓練するための柔らかい緩和と勾配に基づくアプローチを導出する。
ディープCTネットワークは、類似アーキテクチャのCNNに匹敵する精度を持つことが実験的に示されている。
低計算方式では、代替の効率的なCNNアーキテクチャよりも優れたエラー:高速トレードオフを可能にする。
関連論文リスト
- NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳(メタデータ) (2022-09-29T04:06:00Z) - Low-Energy Convolutional Neural Networks (CNNs) using Hadamard Method [0.0]
畳み込みニューラルネットワーク(CNN)は、オブジェクト認識と検出の潜在的アプローチである。
畳み込み操作の代替として,アダマール変換に基づく新しいアプローチを示す。
この方法は、入力画像サイズよりもカーネルサイズが小さい場合、他のコンピュータビジョンタスクに役立ちます。
論文 参考訳(メタデータ) (2022-09-06T21:36:57Z) - Receptive Field-based Segmentation for Distributed CNN Inference
Acceleration in Collaborative Edge Computing [93.67044879636093]
協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。
我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
論文 参考訳(メタデータ) (2022-07-22T18:38:11Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image
Segmentation [95.51455777713092]
畳み込みニューラルネットワーク(CNN)は、現代の3D医療画像セグメンテーションのデファクトスタンダードとなっている。
本稿では,bf畳み込みニューラルネットワークとbfトランスbf(cotr)を効率良く橋渡しし,正確な3次元医用画像分割を実現する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-03-04T13:34:22Z) - An Alternative Practice of Tropical Convolution to Traditional
Convolutional Neural Networks [0.5837881923712392]
トロピカル畳み込みニューラルネットワーク (TCNNs) と呼ばれる新しいタイプのCNNを提案する。
TCNNは、従来の畳み込み層における乗算と加算をそれぞれ加算とmin/max演算に置き換える熱帯畳み込みの上に構築されている。
我々は,MNIST と CIFAR10 の画像データセットにおいて,通常の畳み込み層よりも表現力が高いことを示す。
論文 参考訳(メタデータ) (2021-03-03T00:13:30Z) - Sparse Coding Driven Deep Decision Tree Ensembles for Nuclear
Segmentation in Digital Pathology Images [15.236873250912062]
デジタル病理画像セグメンテーションタスクにおいて、ディープニューラルネットワークと高い競争力を持つ、容易に訓練されながら強力な表現学習手法を提案する。
ScD2TEと略すこの手法はスパースコーディング駆動の深層決定木アンサンブルと呼ばれ、表現学習の新しい視点を提供する。
論文 参考訳(メタデータ) (2020-08-13T02:59:31Z) - Computational optimization of convolutional neural networks using
separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。
畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文 参考訳(メタデータ) (2020-02-18T17:42:13Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳(メタデータ) (2020-02-10T16:20:02Z) - Embedding of FRPN in CNN architecture [3.3263205689999453]
多次元入力を受信できるディープ畳み込みニューラルネットワーク(CNN)を導入する。
画像分類ベンチマークにおいて畳み込みFRPN (C-FRPN) と呼ばれるアーキテクチャを評価する。
C-FRPNは、同じ数のパラメータを持つ標準CNNよりも一貫して優れている。
論文 参考訳(メタデータ) (2019-12-27T12:41:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。