Fugu-MT 論文翻訳(概要): A Low-Cost Neural ODE with Depthwise Separable Convolution for Edge Domain Adaptation on FPGAs

論文の概要: A Low-Cost Neural ODE with Depthwise Separable Convolution for Edge Domain Adaptation on FPGAs

arxiv url: http://arxiv.org/abs/2107.12824v1
Date: Tue, 27 Jul 2021 13:44:13 GMT
ステータス: 処理完了
システム内更新日: 2021-07-28 14:29:53.159047
Title: A Low-Cost Neural ODE with Depthwise Separable Convolution for Edge Domain Adaptation on FPGAs
Title（参考訳）: FPGA上のエッジ領域適応のための奥行き分離可能な畳み込みを有する低コストニューラルネットワーク
Authors: Hiroki Kawakami, Hirohisa Watanabe, Keisuke Sugiura, Hiroki Matsutani
Abstract要約: ResNetは、多くのレイヤとパラメータを積み重ねた従来のディープニューラルネットワークモデルの1つである。本稿では,ニューラルODEとDSCの組み合わせであるdsODENetをFPGA向けに設計,実装する。その結果、ドメイン適応精度の点で、dsODENetはベースラインのNeural ODE実装に匹敵するか、わずかに優れていることが示された。
参考スコア（独自算出の注目度）: 2.620638110026557
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Although high-performance deep neural networks are in high demand in edge environments, computation resources are strictly limited in edge devices, and light-weight neural network techniques, such as Depthwise Separable Convolution (DSC), have been developed. ResNet is one of conventional deep neural network models that stack a lot of layers and parameters for a higher accuracy. To reduce the parameter size of ResNet, by utilizing a similarity to ODE (Ordinary Differential Equation), Neural ODE repeatedly uses most of weight parameters instead of having a lot of different parameters. Thus, Neural ODE becomes significantly small compared to that of ResNet so that it can be implemented in resource-limited edge devices. In this paper, a combination of Neural ODE and DSC, called dsODENet, is designed and implemented for FPGAs (Field-Programmable Gate Arrays). dsODENet is then applied to edge domain adaptation as a practical use case and evaluated with image classification datasets. It is implemented on Xilinx ZCU104 board and evaluated in terms of domain adaptation accuracy, training speed, FPGA resource utilization, and speedup rate compared to a software execution. The results demonstrate that dsODENet is comparable to or slightly better than our baseline Neural ODE implementation in terms of domain adaptation accuracy, while the total parameter size without pre- and post-processing layers is reduced by 54.2% to 79.8%. The FPGA implementation accelerates the prediction tasks by 27.9 times faster than a software implementation.
Abstract（参考訳）: エッジ環境では高性能なディープニューラルネットワークが要求されているが、エッジデバイスでは計算資源が厳密に制限されており、Depthwise Separable Convolution (DSC)のような軽量ニューラルネットワーク技術が開発されている。 resnetは、多くの層とパラメータを高い精度で積み重ねる、従来のディープニューラルネットワークモデルの1つである。 ResNetのパラメータサイズを減らすために、ODE(正規微分方程式)と類似性を利用して、Neural ODEは、多くの異なるパラメータを持つのではなく、ほとんどの重みパラメータを繰り返し使用する。これにより、Neural ODEはResNetと比較して大幅に小さくなり、リソース制限のエッジデバイスで実装できる。本稿では、FPGA(Field-Programmable Gate Arrays)向けに、Neural ODEとDSCを組み合わせたdsODENetを設計、実装する。 dsODENetはエッジドメイン適応に実用的なユースケースとして適用され、画像分類データセットで評価される。 Xilinx ZCU104基板上に実装され、ドメイン適応精度、トレーニング速度、FPGAリソース利用率、ソフトウェアの実行速度などの観点から評価される。その結果、dsODENetはドメイン適応の正確さの観点から、ベースラインのNeural ODE実装と同等かわずかに良いが、前処理層と後処理層の合計パラメータサイズは54.2%減少して79.8%となった。 FPGAの実装は、予測タスクをソフトウェア実装の27.9倍高速化する。

関連論文リスト

NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions [2.7086888205833968]
Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。提案手法は,既知の遅延クリティカルタスク,ジェットサブストラクチャタグ,古典的コンピュータビジョンタスク,MNISTを用いた桁分類で検証する。
論文参考訳（メタデータ） (2024-02-29T16:10:21Z)
Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
論文参考訳（メタデータ） (2022-12-25T15:40:05Z)
CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution [55.50793823060282]
本稿では,画像超解像(SR)ネットワークのための新しいコンテント・アウェア・ダイナミック量子化(CADyQ)手法を提案する。 CADyQは、入力画像のローカル内容に基づいて、局所領域と層に最適なビットを適応的に割り当てる。パイプラインは様々なSRネットワークでテストされ、いくつかの標準ベンチマークで評価されている。
論文参考訳（メタデータ） (2022-07-21T07:50:50Z)
An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文参考訳（メタデータ） (2022-01-09T09:31:50Z)
Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文参考訳（メタデータ） (2021-06-18T03:11:15Z)
NullaNet Tiny: Ultra-low-latency DNN Inference Through Fixed-function Combinational Logic [4.119948826527649]
フィールドプログラマブルゲートアレイ(FPGA)ベースのアクセラレータは、グラフィックス処理ユニット/中央処理ユニットベースのプラットフォームを置き換える深刻な競争相手として注目を集めています。本稿では,資源とエネルギー効率,超低遅延FPGAベースニューラルネットワークアクセラレータ構築のためのフレームワークであるNullaNet Tinyを提案する。
論文参考訳（メタデータ） (2021-04-07T00:16:39Z)
Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文参考訳（メタデータ） (2021-03-15T12:54:26Z)
Accelerating ODE-Based Neural Networks on Low-Cost FPGAs [3.4795226670772745]
ODENetは、ResNetの積み重ね構造を通常の微分方程式解決器で実装したディープニューラルネットワークアーキテクチャである。適切な解法を選択することで、パラメータの数を減らし、精度と性能のバランスを取ることができる。リソース制限エッジデバイスで同じパラメータ数を維持しながら、精度を向上させることも可能です。
論文参考訳（メタデータ） (2020-12-31T06:39:22Z)
ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
論文参考訳（メタデータ） (2020-07-27T09:01:22Z)
A Learning Framework for n-bit Quantized Neural Networks toward FPGAs [20.83904734716565]
重みが2つのパワーに制約されるnビットQNNのための新しい学習フレームワークを提案する。また,n-BQ-NNという新しいQNN構造も提案する。 SVPEを用いたN-BQ-NNは,ベクトル処理素子(VPE)よりも2.9倍高速に動作可能であることを示す。
論文参考訳（メタデータ） (2020-04-06T04:21:24Z)
PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。