Fugu-MT 論文翻訳(概要): CheapET-3: Cost-Efficient Use of Remote DNN Models

論文の概要: CheapET-3: Cost-Efficient Use of Remote DNN Models

arxiv url: http://arxiv.org/abs/2208.11552v1
Date: Wed, 24 Aug 2022 13:54:27 GMT
ステータス: 処理完了
システム内更新日: 2022-08-25 13:22:54.573153
Title: CheapET-3: Cost-Efficient Use of Remote DNN Models
Title（参考訳）: CheapET-3:リモートDNNモデルの費用効率向上
Authors: Michael Weiss
Abstract要約: クライアントサイドアプリケーションのための新しいソフトウェアアーキテクチャを提案し、小さなローカルDNNがリモートの大規模モデルと一緒に使用される。概念実証では,システム精度に悪影響を及ぼすことなく,予測コストを最大50%削減する。
参考スコア（独自算出の注目度）: 1.0660480034605242
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: On complex problems, state of the art prediction accuracy of Deep Neural Networks (DNN) can be achieved using very large-scale models, consisting of billions of parameters. Such models can only be run on dedicated servers, typically provided by a 3rd party service, which leads to a substantial monetary cost for every prediction. We propose a new software architecture for client-side applications, where a small local DNN is used alongside a remote large-scale model, aiming to make easy predictions locally at negligible monetary cost, while still leveraging the benefits of a large model for challenging inputs. In a proof of concept we reduce prediction cost by up to 50% without negatively impacting system accuracy.
Abstract（参考訳）: 複雑な問題では、数十億のパラメータからなる非常に大規模なモデルを使用して、ディープニューラルネットワーク(dnn)の技術予測精度を実現できる。このようなモデルは、通常はサードパーティサービスが提供する専用サーバ上でのみ実行されるため、予測毎にかなりの金銭的コストがかかる。クライアント側アプリケーションのための新しいソフトウェアアーキテクチャを提案する。このアーキテクチャでは、小さなローカルDNNを遠隔の大規模モデルと一緒に使用し、未払いの金銭的コストでローカルに簡単に予測できると同時に、大きなモデルの利点を利用して入力に挑戦することを目的としている。概念実証では,システム精度に悪影響を及ぼすことなく,予測コストを最大50%削減する。

関連論文リスト

Scale-Dropout: Estimating Uncertainty in Deep Neural Networks Using Stochastic Scale [0.7025445595542577]
ニューラルネットワーク(NN)の不確実性推定は、特に安全クリティカルなアプリケーションにおいて、予測の信頼性と信頼性を向上させる上で不可欠である。 Dropoutを近似とするBayNNは、不確実性に対する体系的なアプローチを提供するが、本質的には、電力、メモリ、定量化の点で高いハードウェアオーバーヘッドに悩まされている。提案するBayNNに対して,スピントロニクスメモリベースのCIMアーキテクチャを導入し,最先端技術と比較して100倍以上の省エネを実現した。
論文参考訳（メタデータ） (2023-11-27T13:41:20Z)
Spatial-SpinDrop: Spatial Dropout-based Binary Bayesian Neural Network with Spintronics Implementation [1.3603499630771996]
本稿では,スピントロニクスデバイスを備えた空間降下型BayNNであるMC-SpatialDropoutを紹介する。ネットワーク層当たりのドロップアウトモジュールの数は、9倍の9.11倍の9.11倍の9.11倍のエネルギー消費率で減少するが、それでも同等の性能と不確実性の評価を達成している。
論文参考訳（メタデータ） (2023-06-16T21:38:13Z)
Adopting Two Supervisors for Efficient Use of Large-Scale Remote Deep Neural Networks [4.987581730476023]
大規模ディープニューラルネットワーク(DNN)は、リソース制約されたデバイス上で効率的に動作するには大きすぎる。そこで本研究では,システムを小規模局所モデルで予測しようとするBiSupervisedを提案する。我々は,4種類のケーススタディにおいて,コスト削減と誤予測入力の検出能力を評価した。
論文参考訳（メタデータ） (2023-04-05T04:35:23Z)
A Deep Neural Network Based Approach to Building Budget-Constrained Models for Big Data Analysis [11.562071835482223]
我々は,Deep Neural Networks (DNN) を用いたビッグデータ解析において,重要でない特徴を排除するアプローチを導入する。弱いリンクと弱いニューロンを特定し、与えられた予算内にモデルコストをもたらすためにいくつかの入力特徴を取り除きます。
論文参考訳（メタデータ） (2023-02-23T00:00:32Z)
Autoregressive Uncertainty Modeling for 3D Bounding Box Prediction [63.3021778885906]
3Dバウンディングボックスは、多くのコンピュータビジョンアプリケーションで広く使われている中間表現である。本稿では,自己回帰モデルを利用して高い信頼度予測と意味のある不確実性対策を行う手法を提案する。我々はシミュレーションデータセットであるCOB-3Dをリリースし、現実世界のロボティクスアプリケーションで発生する新しいタイプのあいまいさを強調します。
論文参考訳（メタデータ） (2022-10-13T23:57:40Z)
Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead [67.87678914831477]
ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
論文参考訳（メタデータ） (2022-05-28T13:09:30Z)
DNNAbacus: Toward Accurate Computational Cost Prediction for Deep Neural Networks [0.9896984829010892]
本稿では,29の古典的ディープニューラルネットワークの計算資源要求を調査し,計算コストを予測するための正確なモデルを構築した。ネットワーク表現のための新しいネットワーク構造行列を用いた軽量な予測手法DNNAbacusを提案する。実験の結果, 平均相対誤差 (MRE) は時間に対して0.9%, メモリに関しては2.8%であった。
論文参考訳（メタデータ） (2022-05-24T14:21:27Z)
FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文参考訳（メタデータ） (2022-01-18T13:59:22Z)
ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文参考訳（メタデータ） (2021-05-07T11:39:05Z)
Making DensePose fast and light [78.49552144907513]
このタスクを解くことができる既存のニューラルネットワークモデルは、非常にパラメータ化されている。現在のモデルで端末のDense Pose推論を有効にするには、高価なサーバーサイドのインフラをサポートし、安定したインターネット接続が必要である。本研究では,DensePose R-CNNモデルのアーキテクチャを再設計することで,最終的なネットワークがその精度の大部分を維持しつつ,より軽量で高速なネットワークを実現することを目的とする。
論文参考訳（メタデータ） (2020-06-26T19:42:20Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。