論文の概要: NNStreamer: Efficient and Agile Development of On-Device AI Systems

• arxiv url: http://arxiv.org/abs/2101.06371v1
• Date: Sat, 16 Jan 2021 04:49:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 04:34:23.460102
• Title: NNStreamer: Efficient and Agile Development of On-Device AI Systems
• Title（参考訳）: NNStreamer: オンデバイスAIシステムの効率的でアジャイルな開発
• Authors: MyungJoo Ham, Jijoong Moon, Geunsik Lim, Jaeyun Jung, Hyoungjoo Ahn, Wook Song, Sangjung Woo, Parichay Kapoor, Dongju Chae, Gichan Jang, Yongjoo Ahn, Jihoon Lee
• Abstract要約: NNStreamerは、ニューラルネットワークをストリームパイプラインのフィルタとして扱うソフトウェアシステムです。 NNStreamerは、デバイス上の複雑なデータストリームパイプラインでニューラルネットワークを効率的に処理する。
• 参考スコア（独自算出の注目度）: 5.657960215816787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose NNStreamer, a software system that handles neural networks as filters of stream pipelines, applying the stream processing paradigm to deep neural network applications. A new trend with the wide-spread of deep neural network applications is on-device AI. It is to process neural networks on mobile devices or edge/IoT devices instead of cloud servers. Emerging privacy issues, data transmission costs, and operational costs signify the need for on-device AI, especially if we deploy a massive number of devices. NNStreamer efficiently handles neural networks with complex data stream pipelines on devices, significantly improving the overall performance with minimal efforts. Besides, NNStreamer simplifies implementations and allows reusing off-the-shelf media filters directly, which reduces developmental costs significantly. We are already deploying NNStreamer for a wide range of products and platforms, including the Galaxy series and various consumer electronic devices. The experimental results suggest a reduction in developmental costs and enhanced performance of pipeline architectures and NNStreamer. It is an open-source project incubated by Linux Foundation AI, available to the public and applicable to various hardware and software platforms.
• Abstract（参考訳）: 本稿では,ニューラルネットワークをストリームパイプラインのフィルタとして扱うソフトウェアシステムであるnnstreamerを提案する。 ディープニューラルネットワークアプリケーションの普及に伴う新たなトレンドは、オンデバイスAIである。 クラウドサーバではなく、モバイルデバイスやエッジ/IoTデバイス上でニューラルネットワークを処理する。 新たなプライバシー問題、データ転送コスト、運用コストは、デバイス上でのaiの必要性を示しています。 NNStreamerはデバイス上の複雑なデータストリームパイプラインでニューラルネットワークを効率的に処理し、最小限の労力で全体的なパフォーマンスを大幅に改善する。 さらに、NNStreamerは実装を単純化し、既製のメディアフィルタを直接再利用することで、開発コストを大幅に削減する。 私たちはすでに、Galaxyシリーズやさまざまな消費者向け電子機器を含む、幅広い製品やプラットフォームにNNStreamerをデプロイしています。 実験結果から,パイプラインアーキテクチャとNNStreamerの開発コストの低減と性能向上が示唆された。 linux foundation aiがインキュベートしたオープンソースプロジェクトで、一般公開されており、さまざまなハードウェアやソフトウェアプラットフォームに対応している。

関連論文リスト

• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Toward Among-Device AI from On-Device AI with Stream Pipelines [4.471799273415519]
  著者のアフィリエイトは、オンデバイスAIシステムにストリームパイプラインフレームワークであるNNStreamerを適用し始めた。 我々は、NNStreamerがデバイス間AI機能を提供するように、オンデバイスAIのためのストリームパイプラインフレームワークNNStreamerの拡張を提案する。
  論文  参考訳（メタデータ） (2022-01-16T11:49:33Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems [0.0]
  畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。 本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
  論文  参考訳（メタデータ） (2021-12-01T18:20:52Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Learning from Event Cameras with Sparse Spiking Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は現在、コンピュータビジョン問題のデファクトソリューションとなっている。 イベントカメラとスピーキングニューラルネットワーク(SNN)を用いたエンドツーエンドの生物学的インスパイアされたアプローチを提案する。 この手法は、一般的なディープラーニングフレームワークPyTorchを使用して、イベントデータに直接スパーススパイクニューラルネットワークのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-26T13:52:01Z)
• SparseDNN: Fast Sparse Deep Learning Inference on CPUs [1.6244541005112747]
  CPUをターゲットとしたスパースディープラーニング推論エンジンであるSparseDNNを紹介します。 我々のスパースコードジェネレータは,最先端のスパースライブラリや高密度ライブラリよりも大幅に高速化できることを示す。
  論文  参考訳（メタデータ） (2021-01-20T03:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。