論文の概要: DSXplore: Optimizing Convolutional Neural Networks via Sliding-Channel Convolutions

• arxiv url: http://arxiv.org/abs/2101.00745v1
• Date: Mon, 4 Jan 2021 02:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-12 08:40:21.677205
• Title: DSXplore: Optimizing Convolutional Neural Networks via Sliding-Channel Convolutions
• Title（参考訳）: DSXplore:スライディングチャネル畳み込みによる畳み込みニューラルネットワークの最適化
• Authors: Yuke Wang, Boyuan Feng, Yufei Ding
• Abstract要約: CNNで深度分離可能な畳み込みを探索するための最初の最適化設計であるDSXploreを紹介します。 アルゴリズムレベルでは、DSXploreは、新しいファクタライズカーネル — スライドチャネル畳み込み — を組み込む。 実装レベルでは、SCC用に最適化されたGPU実装を実行する。
• 参考スコア（独自算出の注目度）: 6.545149265229935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the key advancement of the convolutional neural networks (CNNs), depthwise separable convolutions (DSCs) are becoming one of the most popular techniques to reduce the computations and parameters size of CNNs meanwhile maintaining the model accuracy. It also brings profound impact to improve the applicability of the compute- and memory-intensive CNNs to a broad range of applications, such as mobile devices, which are generally short of computation power and memory. However, previous research in DSCs are largely focusing on compositing the limited existing DSC designs, thus, missing the opportunities to explore more potential designs that can achieve better accuracy and higher computation/parameter reduction. Besides, the off-the-shelf convolution implementations offer limited computing schemes, therefore, lacking support for DSCs with different convolution patterns. To this end, we introduce, DSXplore, the first optimized design for exploring DSCs on CNNs. Specifically, at the algorithm level, DSXplore incorporates a novel factorized kernel -- sliding-channel convolution (SCC), featured with input-channel overlapping to balance the accuracy performance and the reduction of computation and memory cost. SCC also offers enormous space for design exploration by introducing adjustable kernel parameters. Further, at the implementation level, we carry out an optimized GPU-implementation tailored for SCC by leveraging several key techniques, such as the input-centric backward design and the channel-cyclic optimization. Intensive experiments on different datasets across mainstream CNNs show the advantages of DSXplore in balancing accuracy and computation/parameter reduction over the standard convolution and the existing DSCs.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)の鍵となる進歩として、モデル精度を維持しながらCNNの計算とパラメータサイズを削減する最も一般的な手法の1つとして、深層的に分離可能な畳み込み(DSC)がある。 また、計算能力やメモリに乏しいモバイルデバイスのような幅広いアプリケーションに対して、計算集約型およびメモリ集約型cnnの適用性を改善することにも大きな影響を与える。 しかし、dscsにおけるこれまでの研究は、既存のdsc設計の限られた組み合わせに重点を置いているため、より良い精度と高い計算/パラメータ削減を達成する可能性の高い設計を探求する機会を欠いている。 さらに、既製の畳み込み実装は限定的な計算スキームを提供するため、異なる畳み込みパターンを持つDSCをサポートしていない。 この目的のために我々は,CNN上でDSCを探索するための最初の最適化設計であるDSXploreを紹介する。 具体的には、アルゴリズムレベルでは、DSXploreは、精度性能と計算とメモリコストの削減のバランスをとるために、入力チャネルオーバーラップを特徴とする、新しいファクタライズドカーネル -- スライドチャネル畳み込み(SCC)を組み込んでいる。 SCCはまた、調整可能なカーネルパラメータを導入することで、設計の探索に膨大なスペースを提供する。 さらに,実装レベルでは,入力中心の後方設計やチャネル循環最適化など,SCC用に最適化されたGPU実装を実行する。 主流のcnn間で異なるデータセットに対する集中的な実験は、標準畳み込みと既存のdscsに対する精度と計算/パラメータのバランスにおけるdsxploreの利点を示している。

関連論文リスト

• BiDense: Binarization for Dense Prediction [62.70804353158387]
  BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
  論文  参考訳（メタデータ） (2024-11-15T16:46:04Z)
• DCP: Learning Accelerator Dataflow for Neural Network via Propagation [52.06154296196845]
  この研究は、DNN層の最適なデータフローを人間の努力なしに数秒で自動的に見つけるために、Dataflow Code Propagation (DCP)と呼ばれる効率的なデータ中心のアプローチを提案する。 DCPは、様々な最適化目標を最小化するために、望ましい勾配方向に向けてデータフローコードを効率的に更新する神経予測器を学習する。 例えば、追加のトレーニングデータを使用しないDCPは、数千のサンプルを使用して完全な検索を行うGAMAメソッドを超越している。
  論文  参考訳（メタデータ） (2024-10-09T05:16:44Z)
• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• Towards Hyperparameter-Agnostic DNN Training via Dynamical System Insights [4.513581513983453]
  本稿では,ディープニューラルネットワーク(DNN),ECCO-DNNに特化した一階最適化手法を提案する。 本手法は, 最適変数軌道を動的システムとしてモデル化し, 軌道形状に基づいてステップサイズを適応的に選択する離散化アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-10-21T03:45:13Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• A Design Flow for Mapping Spiking Neural Networks to Many-Core Neuromorphic Hardware [4.527975416669432]
  多コアニューロモルフィックハードウェアは、大規模な機械学習モデルを実行することが期待されている。 設計の複雑さに対処するためには、リアルタイムのパフォーマンスを保証するために予測可能な設計フローが必要である。 スパイクニューラルネットワークを多コアニューロモルフィックハードウェアにマッピングするためのSDFGに基づく設計フローを提案する。
  論文  参考訳（メタデータ） (2021-08-27T18:08:08Z)
• Neural Calibration for Scalable Beamforming in FDD Massive MIMO with Implicit Channel Estimation [10.775558382613077]
  チャネル推定とビームフォーミングは、周波数分割二重化(FDD)大規模マルチインプット多重出力(MIMO)システムにおいて重要な役割を果たす。 受信したアップリンクパイロットに応じて,基地局のビームフォーマを直接最適化する深層学習方式を提案する。 エンド・ツー・エンドの設計のスケーラビリティを向上させるために,ニューラルキャリブレーション法を提案する。
  論文  参考訳（メタデータ） (2021-08-03T14:26:14Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Design of Capacity-Approaching Low-Density Parity-Check Codes using Recurrent Neural Networks [5.317548969642376]
  LDPC符号の構造を特徴付けることによって,次数分布の係数を決定する手法を提案する。 我々は、我々のRNNアーキテクチャをニューラル密度進化(NDE)と呼び、最適な設計に対応するRNNの重みを決定する。 我々は、NDEの複雑さと最適性を理論的に分析し、微分進化を利用する従来の設計手法と比較する。
  論文  参考訳（メタデータ） (2020-01-05T14:46:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。