論文の概要: Toward Among-Device AI from On-Device AI with Stream Pipelines
- arxiv url: http://arxiv.org/abs/2201.06026v1
- Date: Sun, 16 Jan 2022 11:49:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-21 12:45:38.088858
- Title: Toward Among-Device AI from On-Device AI with Stream Pipelines
- Title（参考訳）: ストリームパイプラインを用いたオンデバイスAIからのデバイス間AIの実現に向けて
- Authors: MyungJoo Ham, Sangjung Woo, Jaeyun Jung, Wook Song, Gichan Jang,
Yongjoo Ahn, Hyoung Joo Ahn
- Abstract要約: 著者のアフィリエイトは、オンデバイスAIシステムにストリームパイプラインフレームワークであるNNStreamerを適用し始めた。
我々は、NNStreamerがデバイス間AI機能を提供するように、オンデバイスAIのためのストリームパイプラインフレームワークNNStreamerの拡張を提案する。
- 参考スコア（独自算出の注目度）: 4.471799273415519
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Modern consumer electronic devices often provide intelligence services with
deep neural networks. We have started migrating the computing locations of
intelligence services from cloud servers (traditional AI systems) to the
corresponding devices (on-device AI systems). On-device AI systems generally
have the advantages of preserving privacy, removing network latency, and saving
cloud costs. With the emergent of on-device AI systems having relatively low
computing power, the inconsistent and varying hardware resources and
capabilities pose difficulties. Authors' affiliation has started applying a
stream pipeline framework, NNStreamer, for on-device AI systems, saving
developmental costs and hardware resources and improving performance. We want
to expand the types of devices and applications with on-device AI services
products of both the affiliation and second/third parties. We also want to make
each AI service atomic, re-deployable, and shared among connected devices of
arbitrary vendors; we now have yet another requirement introduced as it always
has been. The new requirement of "among-device AI" includes connectivity
between AI pipelines so that they may share computing resources and hardware
capabilities across a wide range of devices regardless of vendors and
manufacturers. We propose extensions of the stream pipeline framework,
NNStreamer, for on-device AI so that NNStreamer may provide among-device AI
capability. This work is a Linux Foundation (LF AI and Data) open source
project accepting contributions from the general public.
- Abstract（参考訳）: 現代の消費者向け電子機器は、ディープニューラルネットワークを用いたインテリジェンスサービスを提供することが多い。
私たちは、インテリジェンスサービスのコンピューティングロケーションを、クラウドサーバ(従来のAIシステム)から対応するデバイス(オンデバイスAIシステム)に移行し始めました。
オンデバイスAIシステムは一般的に、プライバシの保護、ネットワークレイテンシの削除、クラウドコストの削減といったメリットがある。
デバイス上のAIシステムは比較的低い計算能力を持つため、不整合で多様なハードウェアリソースと能力は困難を伴う。
作者のアフィリエイトは、オンデバイスAIシステムにストリームパイプラインフレームワークNNStreamerを適用し、開発コストとハードウェアリソースを節約し、パフォーマンスを改善した。
私たちは、デバイスとアプリケーションの種類を、デバイス上のAIサービス製品で拡張したいと考えています。
私たちはまた、各aiサービスをアトミックで再デプロイ可能にし、任意のベンダのコネクテッドデバイス間で共有できるようにしたいと考えています。
の新たな要件には、AIパイプライン間の接続が含まれており、ベンダーやメーカーに関わらず、幅広いデバイスでコンピューティングリソースとハードウェア能力を共有することができる。
我々は、NNStreamerがデバイス間AI機能を提供するように、オンデバイスAIのためのストリームパイプラインフレームワークNNStreamerの拡張を提案する。
この作業はLinux Foundation(LF AI and Data)オープンソースプロジェクトであり、一般大衆からのコントリビューションを受け入れている。
関連論文リスト
- Generative Diffusion-based Contract Design for Efficient AI Twins Migration in Vehicular Embodied AI Networks [55.15079732226397]
Embodied AIは、サイバースペースと物理空間のギャップを埋める、急速に進歩する分野だ。
VEANETでは、組み込まれたAIツインが車載AIアシスタントとして機能し、自律運転をサポートするさまざまなタスクを実行する。
論文 参考訳（メタデータ） (2024-10-02T02:20:42Z) - The Future of Consumer Edge-AI Computing [58.445652425379855]
Deep Learningは、主にデバイス間のハードウェアアクセラレーションによって、消費者のエンドに急速に浸透している。
将来を見据えて、孤立したハードウェアが不十分であることは明らかです。
本稿では,コンシューマエッジにおける計算資源とデータアクセスの再編成と最適化を目的とした,EdgeAI-Hubデバイスを中心とした新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2022-10-19T12:41:47Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳（メタデータ） (2022-09-27T15:04:01Z) - Structured access to AI capabilities: an emerging paradigm for safe AI
deployment [0.0]
AIシステムをオープンに普及させる代わりに、開発者はAIシステムとの制御された腕の長さのインタラクションを促進する。
Aimは、危険なAI能力が広くアクセスされることを防ぐと同時に、安全に使用できるAI機能へのアクセスを保護することを目的としている。
論文 参考訳（メタデータ） (2022-01-13T19:30:16Z) - How to Reach Real-Time AI on Consumer Devices? Solutions for
Programmable and Custom Architectures [7.085772863979686]
ディープニューラルネットワーク(DNN)は、オブジェクトや音声認識など、さまざまな人工知能(AI)推論タスクにおいて大きな進歩をもたらした。
このようなAIモデルをコモディティデバイスにデプロイすることは、大きな課題に直面している。
クロススタック手法によりリアルタイムな性能を実現する手法を提案する。
論文 参考訳（メタデータ） (2021-06-21T11:23:12Z) - Pervasive AI for IoT Applications: Resource-efficient Distributed
Artificial Intelligence [45.076180487387575]
人工知能(AI)は、さまざまなモノのインターネット(IoT)アプリケーションやサービスにおいて大きなブレークスルーを目の当たりにした。
これは、感覚データへの容易なアクセスと、リアルタイムデータストリームのゼッタバイト(ZB)を生成する広帯域/ユビキタスデバイスの巨大なスケールによって駆動される。
広範コンピューティングと人工知能の合流により、Pervasive AIはユビキタスIoTシステムの役割を拡大した。
論文 参考訳（メタデータ） (2021-05-04T23:42:06Z) - NNStreamer: Efficient and Agile Development of On-Device AI Systems [5.657960215816787]
NNStreamerは、ニューラルネットワークをストリームパイプラインのフィルタとして扱うソフトウェアシステムです。
NNStreamerは、デバイス上の複雑なデータストリームパイプラインでニューラルネットワークを効率的に処理する。
論文 参考訳（メタデータ） (2021-01-16T04:49:44Z) - Empowering Things with Intelligence: A Survey of the Progress,
Challenges, and Opportunities in Artificial Intelligence of Things [98.10037444792444]
AIがIoTをより速く、より賢く、よりグリーンで、より安全にするための力を与える方法を示します。
まず、認識、学習、推論、行動の4つの視点から、IoTのためのAI研究の進歩を示す。
最後に、私たちの世界を深く再形成する可能性が高いAIoTの有望な応用をいくつかまとめる。
論文 参考訳（メタデータ） (2020-11-17T13:14:28Z) - Artificial Intelligence for UAV-enabled Wireless Networks: A Survey [72.10851256475742]
無人航空機(UAV)は次世代無線通信ネットワークにおいて有望な技術であると考えられている。
人工知能(AI)は近年急速に成長し、成功している。
UAVベースのネットワークにおけるAIの潜在的な応用について概観する。
論文 参考訳（メタデータ） (2020-09-24T07:11:31Z) - SAIA: Split Artificial Intelligence Architecture for Mobile Healthcare
System [12.0428917316482]
モバイル医療システムのための分散人工知能アーキテクチャであるSAIAを提案する。
我々はメタ情報に基づく意思決定ユニットを提案し、クライアントがキャプチャしたサンプルが組み込みAIやネットワークAIによって操作されるべきかどうかを調整できる。
以上の結果から,SAIAは,有効性と効率の両面で,ベースラインを一貫して上回っていることが明らかとなった。
論文 参考訳（メタデータ） (2020-04-25T05:06:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。