論文の概要: OneAdapt: Fast Adaptation for Deep Learning Applications via Backpropagation

• arxiv url: http://arxiv.org/abs/2310.02422v1
• Date: Tue, 3 Oct 2023 20:36:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 17:43:26.665313
• Title: OneAdapt: Fast Adaptation for Deep Learning Applications via Backpropagation
• Title（参考訳）: OneAdapt: バックプロパゲーションによるディープラーニングアプリケーションの高速適応
• Authors: Kuntai Du, Yuhan Liu, Yitian Hao, Qizheng Zhang, Haodong Wang, Yuyang Huang, Ganesh Ananthanarayanan, Junchen Jiang
• Abstract要約: ビデオやLiDARフィードのオブジェクト検出など、ストリーミングメディアデータに対するディープラーニング推論が、今やユビキタスになっている。 これらのアプリケーションは一般的に、ディープニューラルネットワーク(DNN)を実行するために、高忠実度データと広範なGPUリソースを集めるために、大きなネットワーク帯域幅を必要とする。 本稿では,3つの要件を同時に満たすOneAdaptについて述べる。最小限のGPUや帯域幅のオーバーヘッドで構成を適応すること,データがどのように最終的なDNNの精度に影響するかに基づいて,ほぼ最適に決定すること,さまざまな構成ノブに対して実施すること,である。
• 参考スコア（独自算出の注目度）: 15.763333642911546
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep learning inference on streaming media data, such as object detection in video or LiDAR feeds and text extraction from audio waves, is now ubiquitous. To achieve high inference accuracy, these applications typically require significant network bandwidth to gather high-fidelity data and extensive GPU resources to run deep neural networks (DNNs). While the high demand for network bandwidth and GPU resources could be substantially reduced by optimally adapting the configuration knobs, such as video resolution and frame rate, current adaptation techniques fail to meet three requirements simultaneously: adapt configurations (i) with minimum extra GPU or bandwidth overhead; (ii) to reach near-optimal decisions based on how the data affects the final DNN's accuracy, and (iii) do so for a range of configuration knobs. This paper presents OneAdapt, which meets these requirements by leveraging a gradient-ascent strategy to adapt configuration knobs. The key idea is to embrace DNNs' differentiability to quickly estimate the accuracy's gradient to each configuration knob, called AccGrad. Specifically, OneAdapt estimates AccGrad by multiplying two gradients: InputGrad (i.e. how each configuration knob affects the input to the DNN) and DNNGrad (i.e. how the DNN input affects the DNN inference output). We evaluate OneAdapt across five types of configurations, four analytic tasks, and five types of input data. Compared to state-of-the-art adaptation schemes, OneAdapt cuts bandwidth usage and GPU usage by 15-59% while maintaining comparable accuracy or improves accuracy by 1-5% while using equal or fewer resources.
• Abstract（参考訳）: ビデオやLiDARフィードのオブジェクト検出や音声波からのテキスト抽出など,ストリーミングメディアデータに対するディープラーニング推論が普及している。 高い推論精度を達成するために、これらのアプリケーションは通常、高忠実度データを集めるためのネットワーク帯域幅と、ディープニューラルネットワーク(dnn)を実行するための広範なgpuリソースを必要とする。 ビデオ解像度やフレームレートなどの構成ノブを最適に適応させることで、ネットワーク帯域幅やgpuリソースに対する高い需要は大幅に削減できるが、現在の適応技術は3つの要件を同時に満たさない。 (i) 最低限のgpuまたは帯域幅のオーバーヘッドで (ii)データが最終dnnの正確性にどのように影響するかに基づいて、至近の最適決定に達すること、及び (iii)様々な構成ノブについてそうする。 本稿では,配置ノブを適応させるグラデーション・アセント・ストラテジーを活用することで,これらの要件を満たしたoneadaptを提案する。 鍵となる考え方は、DNNの微分可能性を採用して、AccGradと呼ばれる各構成ノブへの精度の勾配を素早く見積もることである。 具体的には、OneAdaptはAccGradを、InputGrad(各構成ノブがDNNへの入力にどのように影響するか)とDNNGrad(DNN入力がDNN推論出力にどのように影響するか)という2つの勾配を乗じて推定する。 我々は,5種類の構成,4種類の解析タスク,5種類の入力データに対してOneAdaptを評価する。 最先端の適応方式と比較して、oneadaptは帯域幅とgpu使用量を15～59%削減し、同等の精度を維持したり、1～5%の精度向上を図っている。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Collaborative Learning with a Drone Orchestrator [79.75113006257872]
  インテリジェントな無線デバイス群は、ドローンの助けを借りて共有ニューラルネットワークモデルを訓練する。 提案したフレームワークは,トレーニングの大幅な高速化を実現し,ドローンホバリング時間の平均24%と87%の削減を実現している。
  論文  参考訳（メタデータ） (2023-03-03T23:46:25Z)
• Benchmarking Test-Time Unsupervised Deep Neural Network Adaptation on Edge Devices [19.335535517714703]
  エッジへの展開後のディープニューラルネットワーク(DNN)の予測精度は、新しいデータの分布の変化によって、時間とともに低下する可能性がある。 バッチ正規化パラメータを再調整することにより、ノイズデータに対するモデルの予測精度を向上させるため、近年の予測時間非教師なしDNN適応技術が導入されている。 本論文は, 各種エッジデバイスの性能とエネルギーを定量化するために, この種の技術に関する総合的な研究を初めて行ったものである。
  論文  参考訳（メタデータ） (2022-03-21T19:10:40Z)
• Real-Time GPU-Accelerated Machine Learning Based Multiuser Detection for 5G and Beyond [70.81551587109833]
  非線形ビームフォーミングフィルタは、大規模な接続を伴う定常シナリオにおいて、線形アプローチを著しく上回る。 主な課題の1つは、これらのアルゴリズムのリアルタイム実装である。 本稿では,大規模並列化によるAPSMに基づくアルゴリズムの高速化について検討する。
  論文  参考訳（メタデータ） (2022-01-13T15:20:45Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Application of 2-D Convolutional Neural Networks for Damage Detection in Steel Frame Structures [0.0]
  本稿では,2次元畳み込みニューラルネットワーク(2次元CNN)を特徴抽出と分類段階の両方に応用する。 本手法では、深度ではなく、光ったCNNのネットワークを使用し、生の加速度信号を入力とする。
  論文  参考訳（メタデータ） (2021-10-29T16:29:31Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• DeepRx: Fully Convolutional Deep Learning Receiver [8.739166282613118]
  DeepRxは完全な畳み込みニューラルネットワークで、周波数領域信号ストリームから5G準拠の方法で未符号化ビットへのレシーバパイプライン全体を実行する。 DeepRxは従来の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-05-04T13:53:47Z)
• Partial Weight Adaptation for Robust DNN Inference [9.301756947410773]
  異種入力に対応する適応型推論アーキテクチャであるGearNNを提案する。 GearNNは、歪みのないデータセットでトレーニングされたDNNに対して平均18.12%、Googleからの安定性トレーニングに対して4.84%の精度(mIoU)を改善する。
  論文  参考訳（メタデータ） (2020-03-13T06:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。