論文の概要: Cost-Driven Hardware-Software Co-Optimization of Machine Learning Pipelines

• arxiv url: http://arxiv.org/abs/2310.07940v1
• Date: Wed, 11 Oct 2023 23:22:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 13:22:31.618313
• Title: Cost-Driven Hardware-Software Co-Optimization of Machine Learning Pipelines
• Title（参考訳）: コスト駆動ハードウェアソフトウェアによる機械学習パイプラインの最適化
• Authors: Ravit Sharma, Wojciech Romaszkan, Feiqian Zhu, Puneet Gupta
• Abstract要約: ディープニューラルネットワークは、スマートデバイスにインテリジェンスを埋め込むためにますます利用されている。 ストレージと処理の要件により、安価な市販のプラットフォームでは禁止される。 我々は、量子化、モデルスケーリング、マルチモーダリティが、メモリ、センサー、プロセッサなどのシステムコンポーネントとどのように相互作用するかを概観する。
• 参考スコア（独自算出の注目度）: 1.2881071716296995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Researchers have long touted a vision of the future enabled by a proliferation of internet-of-things devices, including smart sensors, homes, and cities. Increasingly, embedding intelligence in such devices involves the use of deep neural networks. However, their storage and processing requirements make them prohibitive for cheap, off-the-shelf platforms. Overcoming those requirements is necessary for enabling widely-applicable smart devices. While many ways of making models smaller and more efficient have been developed, there is a lack of understanding of which ones are best suited for particular scenarios. More importantly for edge platforms, those choices cannot be analyzed in isolation from cost and user experience. In this work, we holistically explore how quantization, model scaling, and multi-modality interact with system components such as memory, sensors, and processors. We perform this hardware/software co-design from the cost, latency, and user-experience perspective, and develop a set of guidelines for optimal system design and model deployment for the most cost-constrained platforms. We demonstrate our approach using an end-to-end, on-device, biometric user authentication system using a $20 ESP-EYE board.
• Abstract（参考訳）: 研究者たちは長年、スマートセンサーや家、都市など、モノのインターネットの普及によって実現される未来のビジョンを説いてきた。 このようなデバイスにインテリジェンスを埋め込むと、ディープニューラルネットワークが使われるようになる。 しかし、彼らのストレージと処理の要件は、安価な市販のプラットフォームでは禁じられている。 これらの要件を克服するには、広く適用可能なスマートデバイスを実現する必要がある。 モデルをより小さく、より効率的にする方法が数多く開発されているが、特定のシナリオに最も適したモデルがどれであるかを理解していない。 さらに重要なことは、エッジプラットフォームでは、コストとユーザエクスペリエンスから分離してこれらの選択を分析できないことです。 本研究では,メモリ,センサ,プロセッサなどのシステムコンポーネントと量子化,モデルスケーリング,マルチモダリティがどのように相互作用するかを概観する。 我々は、コスト、レイテンシ、ユーザエクスペリエンスの観点から、このハードウェア/ソフトウェア共同設計を行い、最もコストがかかるプラットフォームで最適なシステム設計とモデル展開のためのガイドラインを策定する。 我々は20ドルのesp-eyeボードを用いたエンド・ツー・エンドの生体認証システムを用いて,このアプローチを実証する。

関連論文リスト

• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• FLEdge: Benchmarking Federated Machine Learning Applications in Edge Computing Systems [61.335229621081346]
  フェデレートラーニング(FL)は,ネットワークエッジ上での分散ディープラーニングのプライバシ強化を実現する上で,有効なテクニックとなっている。 本稿では,既存のFLベンチマークを補完するFLEdgeを提案する。
  論文  参考訳（メタデータ） (2023-06-08T13:11:20Z)
• The Future of Consumer Edge-AI Computing [58.445652425379855]
  Deep Learningは、主にデバイス間のハードウェアアクセラレーションによって、消費者のエンドに急速に浸透している。 将来を見据えて、孤立したハードウェアが不十分であることは明らかです。 本稿では,コンシューマエッジにおける計算資源とデータアクセスの再編成と最適化を目的とした,EdgeAI-Hubデバイスを中心とした新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-10-19T12:41:47Z)
• Enable Deep Learning on Mobile Devices: Methods, Systems, and Applications [46.97774949613859]
  ディープニューラルネットワーク(DNN)は人工知能(AI)分野において前例のない成功を収めた しかし、それらの優れた性能は、計算の複雑さのかなりのコストを伴っている。 本稿では,効率的なディープラーニング手法,システム,応用について概説する。
  論文  参考訳（メタデータ） (2022-04-25T16:52:48Z)
• Multi-Component Optimization and Efficient Deployment of Neural-Networks on Resource-Constrained IoT Hardware [4.6095200019189475]
  本稿では,エンドツーエンドのマルチコンポーネントモデル最適化シーケンスを提案し,その実装をオープンソース化する。 最適化コンポーネントは, (i) 12.06 x の圧縮, (ii) 0.13% から 0.27% の精度, (iii) 単位推定の桁数が 0.06 ms のモデルを生成することができる。
  論文  参考訳（メタデータ） (2022-04-20T13:30:04Z)
• Smart at what cost? Characterising Mobile Deep Neural Networks in the wild [16.684419342012674]
  本稿では,野生におけるDeep Neural Network (DNN) の使用状況に関する総合的研究を行う。 われわれはGoogle Play Storeで最も人気のあるアプリの16万以上を分析している。 モバイルデプロイメントのコアコスト次元として,モデルのエネルギーフットプリントを測定します。
  論文  参考訳（メタデータ） (2021-09-28T18:09:29Z)
• How to Reach Real-Time AI on Consumer Devices? Solutions for Programmable and Custom Architectures [7.085772863979686]
  ディープニューラルネットワーク(DNN)は、オブジェクトや音声認識など、さまざまな人工知能(AI)推論タスクにおいて大きな進歩をもたらした。 このようなAIモデルをコモディティデバイスにデプロイすることは、大きな課題に直面している。 クロススタック手法によりリアルタイムな性能を実現する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-21T11:23:12Z)
• SensiX: A Platform for Collaborative Machine Learning on the Edge [69.1412199244903]
  センサデータとセンサモデルの間に留まるパーソナルエッジプラットフォームであるSensiXを紹介する。 動作および音声に基づくマルチデバイスセンシングシステムの開発において,その有効性を示す。 評価の結果,SensiXは3mWのオーバヘッドを犠牲にして,全体の精度が7～13%向上し,環境のダイナミクスが最大30%向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-04T23:06:56Z)
• Learned Hardware/Software Co-Design of Neural Accelerators [20.929918108940093]
  ディープラーニングソフトウェアスタックとハードウェアアクセラレータは多様で広大な。 以前の作業では、ハードウェアアーキテクチャとは別途ソフトウェア最適化を検討し、検索スペースを効果的に削減した。 本稿では,ハードウェア/ソフトウェアの共同設計として,共同設計空間における望ましい点を自動的に識別することを目的としている。
  論文  参考訳（メタデータ） (2020-10-05T15:12:52Z)
• Making DensePose fast and light [78.49552144907513]
  このタスクを解くことができる既存のニューラルネットワークモデルは、非常にパラメータ化されている。 現在のモデルで端末のDense Pose推論を有効にするには、高価なサーバーサイドのインフラをサポートし、安定したインターネット接続が必要である。 本研究では,DensePose R-CNNモデルのアーキテクチャを再設計することで,最終的なネットワークがその精度の大部分を維持しつつ,より軽量で高速なネットワークを実現することを目的とする。
  論文  参考訳（メタデータ） (2020-06-26T19:42:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。