論文の概要: Deep Convolutional Tables: Deep Learning without Convolutions

• arxiv url: http://arxiv.org/abs/2304.11706v1
• Date: Sun, 23 Apr 2023 17:49:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 16:56:09.408355
• Title: Deep Convolutional Tables: Deep Learning without Convolutions
• Title（参考訳）: Deep Convolutional Tables: 畳み込みのないディープラーニング
• Authors: Shay Dekel, Yosi Keller, Aharon Bar-Hillel
• Abstract要約: 本稿では,ドット生成ニューロンを使用しず,代わりに投票表の階層に依存するディープネットワークの新たな定式化を提案する。 ディープCTネットワークは、類似アーキテクチャのCNNに匹敵する精度を持つことが実験的に示されている。
• 参考スコア（独自算出の注目度）: 12.069186324544347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel formulation of deep networks that do not use dot-product neurons and rely on a hierarchy of voting tables instead, denoted as Convolutional Tables (CT), to enable accelerated CPU-based inference. Convolutional layers are the most time-consuming bottleneck in contemporary deep learning techniques, severely limiting their use in Internet of Things and CPU-based devices. The proposed CT performs a fern operation at each image location: it encodes the location environment into a binary index and uses the index to retrieve the desired local output from a table. The results of multiple tables are combined to derive the final output. The computational complexity of a CT transformation is independent of the patch (filter) size and grows gracefully with the number of channels, outperforming comparable convolutional layers. It is shown to have a better capacity:compute ratio than dot-product neurons, and that deep CT networks exhibit a universal approximation property similar to neural networks. As the transformation involves computing discrete indices, we derive a soft relaxation and gradient-based approach for training the CT hierarchy. Deep CT networks have been experimentally shown to have accuracy comparable to that of CNNs of similar architectures. In the low compute regime, they enable an error:speed trade-off superior to alternative efficient CNN architectures.
• Abstract（参考訳）: 本稿では, ドット生成ニューロンを使用しず, 代わりに, 畳み込みテーブル (CT) と呼ばれる投票表階層に依存するディープネットワークの新たな定式化を提案し, 高速化されたCPUベースの推論を実現する。 畳み込み層は、現代のディープラーニング技術で最も時間を要するボトルネックであり、モノのインターネットやcpuベースのデバイスでの使用を厳しく制限している。 提案するctは、各画像位置でfern操作を実行する。位置環境をバイナリインデックスにエンコードし、インデックスを使用してテーブルから所望のローカル出力を取得する。 複数のテーブルの結果を組み合わせて最終的な出力を導出する。 CT変換の計算複雑性はパッチ(フィルタ)サイズとは独立であり、チャネルの数によって優雅に成長し、同等の畳み込み層を上回る。 ドット生成ニューロンよりも計算比が優れており、深部CTネットワークはニューラルネットワークと同様の普遍的な近似特性を示す。 この変換は離散的な指標の計算を伴うため、CT階層を訓練するための柔らかい緩和と勾配に基づくアプローチを導出する。 ディープCTネットワークは、類似アーキテクチャのCNNに匹敵する精度を持つことが実験的に示されている。 低計算方式では、代替の効率的なCNNアーキテクチャよりも優れたエラー:高速トレードオフを可能にする。

関連論文リスト

• Quality Scalable Quantization Methodology for Deep Learning on Edge [0.20718016474717196]
  ディープラーニングアーキテクチャは重い計算を使い、計算エネルギーの大部分は畳み込みニューラルネットワークの畳み込み演算によって取り込まれる。 提案する研究は、ユビキタスコンピューティングデバイス上でエッジコンピューティングで機械学習技術を使用する場合、CNNのエネルギー消費とサイズを削減することである。 LeNetとConvNetsで実施された実験では、ゼロの6%まで増加し、メモリ節約量は82.4919%まで増加し、最先端の精度を維持した。
  論文  参考訳（メタデータ） (2024-07-15T22:00:29Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• A Domain Decomposition-Based CNN-DNN Architecture for Model Parallel Training Applied to Image Recognition Problems [0.0]
  モデル並列トレーニング戦略を自然にサポートする新しいCNN-DNNアーキテクチャを提案する。 提案手法は,グローバルモデルと比較して,必要なトレーニング時間を著しく短縮することができる。 その結果,提案手法は,基礎となる分類問題の精度向上にも有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-02-13T18:06:59Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Low-Energy Convolutional Neural Networks (CNNs) using Hadamard Method [0.0]
  畳み込みニューラルネットワーク(CNN)は、オブジェクト認識と検出の潜在的アプローチである。 畳み込み操作の代替として,アダマール変換に基づく新しいアプローチを示す。 この方法は、入力画像サイズよりもカーネルサイズが小さい場合、他のコンピュータビジョンタスクに役立ちます。
  論文  参考訳（メタデータ） (2022-09-06T21:36:57Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image Segmentation [95.51455777713092]
  畳み込みニューラルネットワーク(CNN)は、現代の3D医療画像セグメンテーションのデファクトスタンダードとなっている。 本稿では,bf畳み込みニューラルネットワークとbfトランスbf(cotr)を効率良く橋渡しし,正確な3次元医用画像分割を実現する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T13:34:22Z)
• An Alternative Practice of Tropical Convolution to Traditional Convolutional Neural Networks [0.5837881923712392]
  トロピカル畳み込みニューラルネットワーク (TCNNs) と呼ばれる新しいタイプのCNNを提案する。 TCNNは、従来の畳み込み層における乗算と加算をそれぞれ加算とmin/max演算に置き換える熱帯畳み込みの上に構築されている。 我々は,MNIST と CIFAR10 の画像データセットにおいて,通常の畳み込み層よりも表現力が高いことを示す。
  論文  参考訳（メタデータ） (2021-03-03T00:13:30Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。