論文の概要: Scheduling Real-time Deep Learning Services as Imprecise Computations

• arxiv url: http://arxiv.org/abs/2011.01112v1
• Date: Mon, 2 Nov 2020 16:43:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 11:38:22.762105
• Title: Scheduling Real-time Deep Learning Services as Imprecise Computations
• Title（参考訳）: 不正確な計算としてリアルタイム深層学習サービスをスケジューリングする
• Authors: Shuochao Yao, Yifan Hao, Yiran Zhao, Huajie Shao, Dongxin Liu, Shengzhong Liu, Tianshi Wang, Jinyang Li, Tarek Abdelzaher
• Abstract要約: 本稿では,インテリジェントリアルタイムエッジサービスのための効率的なリアルタイムスケジューリングアルゴリズムを提案する。 これらのサービスは、音声認識、LIDAR処理、マシンビジョンなどのマシンインテリジェンスタスクを実行する。 ディープニューラルネットワークを不正確な計算として、それぞれに必須部分といくつかのオプション部分を持つことを示す。
• 参考スコア（独自算出の注目度）: 11.611969843191433
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The paper presents an efficient real-time scheduling algorithm for intelligent real-time edge services, defined as those that perform machine intelligence tasks, such as voice recognition, LIDAR processing, or machine vision, on behalf of local embedded devices that are themselves unable to support extensive computations. The work contributes to a recent direction in real-time computing that develops scheduling algorithms for machine intelligence tasks with anytime prediction. We show that deep neural network workflows can be cast as imprecise computations, each with a mandatory part and (several) optional parts whose execution utility depends on input data. The goal of the real-time scheduler is to maximize the average accuracy of deep neural network outputs while meeting task deadlines, thanks to opportunistic shedding of the least necessary optional parts. The work is motivated by the proliferation of increasingly ubiquitous but resource-constrained embedded devices (for applications ranging from autonomous cars to the Internet of Things) and the desire to develop services that endow them with intelligence. Experiments on recent GPU hardware and a state of the art deep neural network for machine vision illustrate that our scheme can increase the overall accuracy by 10%-20% while incurring (nearly) no deadline misses.
• Abstract（参考訳）: 本稿では,音声認識,lidar処理,マシンビジョンなどの機械学習タスクを実行するインテリジェントなリアルタイムエッジサービスのための効率的なリアルタイムスケジューリングアルゴリズムを提案する。 この研究は、リアルタイムコンピューティングにおける最近の方向性に貢献し、いつでも予測できる機械学習タスクのスケジューリングアルゴリズムを開発した。 ディープニューラルネットワークのワークフローは、それぞれが必須部分とオプション部分を持ち、実行ユーティリティが入力データに依存した不正確な計算としてキャスト可能であることを示す。 リアルタイムスケジューラの目標は、必要最低限のオプション部分の余分な隠蔽のおかげで、タスクの期限を満たしながら、ディープニューラルネットワーク出力の平均精度を最大化することである。 この仕事の動機は、ユビキタスだがリソースに制約のある組み込みデバイス(自動運転車からモノのインターネットまで)の普及と、それらにインテリジェンスを持たせるサービスを開発することにある。 最近のGPUハードウェアの実験と、マシンビジョンのための最先端ニューラルネットワークの現状は、我々のスキームが(ほぼ)納期遅れを発生しながらも、全体の精度を10%から20%向上できることを示している。

関連論文リスト

• Neural Network Methods for Radiation Detectors and Imaging [1.6395318070400589]
  機械学習、特にディープニューラルネットワーク(DNN)の最近の進歩により、放射線検出器や撮像ハードウェアの新たな最適化と性能向上スキームが実現されている。 本稿では、光子源におけるデータ生成の概要、画像処理タスクのためのディープラーニングベースの方法、ディープラーニングアクセラレーションのためのハードウェアソリューションについて述べる。
  論文  参考訳（メタデータ） (2023-11-09T20:21:51Z)
• Temporal Patience: Efficient Adaptive Deep Learning for Embedded Radar Data Processing [4.359030177348051]
  本稿では,ストリーミングレーダデータに存在する時間相関を利用して,組込みデバイス上でのディープラーニング推論のための早期排他ニューラルネットワークの効率を向上させる手法を提案する。 以上の結果から,提案手法は単一排他ネットワーク上での推論当たりの演算量の最大26%を削減し,信頼度に基づく早期排他バージョンで12%を削減できることがわかった。 このような効率向上により、リソース制約のあるプラットフォーム上でリアルタイムなレーダデータ処理が可能になり、スマートホーム、インターネット・オブ・シング、人間とコンピュータのインタラクションといったコンテキストにおける新しいアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2023-09-11T12:38:01Z)
• Machine Learning aided Computer Architecture Design for CNN Inferencing Systems [0.0]
  我々は,それぞれ5.03%,5.94%のMAPEを用いて,推論中のCNNのパワーと性能を予測する手法を開発した。 我々のアプローチは、コンピュータアーキテクトが開発初期段階のパワーと性能を見積もることを可能にし、多くのプロトタイプの必要性を減らします。
  論文  参考訳（メタデータ） (2023-08-10T06:17:46Z)
• Learnability with Time-Sharing Computational Resource Concerns [65.268245109828]
  本稿では,学習理論における計算資源の影響を考慮した理論的枠組みを提案する。 このフレームワークは、入ってくるデータストリームが潜在的に無限であるようなストリーム学習に自然に適用できる。 これはまた、インテリジェントなスーパーコンピュータオペレーティングシステムの設計に対する理論的視点を提供するかもしれない。
  論文  参考訳（メタデータ） (2023-05-03T15:54:23Z)
• HARL: Hierarchical Adaptive Reinforcement Learning Based Auto Scheduler for Neural Networks [51.71682428015139]
  効率的なテンソルプログラム探索のための強化学習に基づく自動スケジューリングシステムであるHARLを提案する。 HarLは、最先端のオートスケジューラと比較して、テンソル演算子の性能を22%改善し、探索速度を4.3倍改善する。 また、エンドツーエンドのニューラルネットワークでは、推論性能と探索速度も大幅に向上する。
  論文  参考訳（メタデータ） (2022-11-21T04:15:27Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Enable Deep Learning on Mobile Devices: Methods, Systems, and Applications [46.97774949613859]
  ディープニューラルネットワーク(DNN)は人工知能(AI)分野において前例のない成功を収めた しかし、それらの優れた性能は、計算の複雑さのかなりのコストを伴っている。 本稿では,効率的なディープラーニング手法,システム,応用について概説する。
  論文  参考訳（メタデータ） (2022-04-25T16:52:48Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
  主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。 過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。 データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-12-07T20:15:39Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。