Fugu-MT 論文翻訳(概要): StreamTinyNet: video streaming analysis with spatial-temporal TinyML

論文の概要: StreamTinyNet: video streaming analysis with spatial-temporal TinyML

arxiv url: http://arxiv.org/abs/2407.17524v1
Date: Mon, 22 Jul 2024 07:08:03 GMT
ステータス: 処理完了
システム内更新日: 2024-07-26 18:08:23.894783
Title: StreamTinyNet: video streaming analysis with spatial-temporal TinyML
Title（参考訳）: StreamTinyNet:時空間TinyMLを用いたビデオストリーミング解析
Authors: Hazem Hesham Yousef Shalby, Massimo Pavan, Manuel Roveri,
Abstract要約: ビデオストリーミング分析(VSA)はTinyMLの最も興味深いタスクの1つである。マルチフレームVSAを実行する最初のTinyMLアーキテクチャであるStreamTinyNetを紹介します。
参考スコア（独自算出の注目度）: 2.5739385355356714
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Tiny Machine Learning (TinyML) is a branch of Machine Learning (ML) that constitutes a bridge between the ML world and the embedded system ecosystem (i.e., Internet of Things devices, embedded devices, and edge computing units), enabling the execution of ML algorithms on devices constrained in terms of memory, computational capabilities, and power consumption. Video Streaming Analysis (VSA), one of the most interesting tasks of TinyML, consists in scanning a sequence of frames in a streaming manner, with the goal of identifying interesting patterns. Given the strict constraints of these tiny devices, all the current solutions rely on performing a frame-by-frame analysis, hence not exploiting the temporal component in the stream of data. In this paper, we present StreamTinyNet, the first TinyML architecture to perform multiple-frame VSA, enabling a variety of use cases that requires spatial-temporal analysis that were previously impossible to be carried out at a TinyML level. Experimental results on public-available datasets show the effectiveness and efficiency of the proposed solution. Finally, StreamTinyNet has been ported and tested on the Arduino Nicla Vision, showing the feasibility of what proposed.
Abstract（参考訳）: Tiny Machine Learning (TinyML) は、MLの世界と組み込みシステムエコシステム(IoTデバイス、組み込みデバイス、エッジコンピューティングユニット)の橋渡しを構成する機械学習(ML)のブランチであり、メモリ、計算能力、消費電力の点で制約されたデバイス上でMLアルゴリズムの実行を可能にする。 TinyMLの最も興味深いタスクのひとつであるビデオストリーミング分析(VSA)は、興味深いパターンを特定することを目的として、ストリーミング方法で一連のフレームをスキャンする。これらの小さなデバイスの厳密な制約を考えると、現在のソリューションはすべてフレーム単位の分析に頼っているため、データストリームの時間的コンポーネントを利用できない。本稿では,マルチフレームVSAを実現する最初のTinyMLアーキテクチャであるStreamTinyNetを提案する。公開データセットの実験結果から,提案手法の有効性と有効性を示した。最後に、StreamTinyNetはArduino Nicla Visionで移植され、テストされている。

関連論文リスト

DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
論文参考訳（メタデータ） (2024-11-04T18:26:08Z)
TinySV: Speaker Verification in TinyML with On-device Learning [2.356162747014486]
本稿では,提案した TextitTiny Speaker Verification (TinySV) などのタスクで使用可能な,新しいタイプの適応型TinyMLソリューションを提案する。提案したTinySVソリューションは、キーワードスポッティングと適応話者検証モジュールで構成される2層階層のTinyMLソリューションに依存している。我々は,提案したTinySVソリューションの有効性と有効性を評価し,提案したソリューションを実世界のIoTデバイス上でテストした。
論文参考訳（メタデータ） (2024-06-03T17:27:40Z)
Follow Anything: Open-set detection, tracking, and following in real-time [89.83421771766682]
我々は,物体をリアルタイムで検出,追跡,追跡するロボットシステムを提案する。私たちのアプローチは、何でも従う"(FAn)と呼ばれ、オープンな語彙とマルチモーダルモデルです。 FAnは軽量(6～8GB)グラフィックカードでラップトップにデプロイでき、毎秒6～20フレームのスループットを実現する。
論文参考訳（メタデータ） (2023-08-10T17:57:06Z)
Deformable Mixer Transformer with Gating for Multi-Task Learning of Dense Prediction [126.34551436845133]
CNNとTransformerには独自の利点があり、MTL(Multi-task Learning)の高密度予測に広く使われている。本稿では,変形可能なCNNと問合せベースのTransformerの長所を共用したMTLモデルを提案する。
論文参考訳（メタデータ） (2023-08-10T17:37:49Z)
Closing the loop: Autonomous experiments enabled by machine-learning-based online data analysis in synchrotron beamline environments [80.49514665620008]
機械学習は、大規模または高速に生成されたデータセットを含む研究を強化するために使用できる。本研究では,X線反射法(XRR)のための閉ループワークフローへのMLの導入について述べる。本研究では,ビームライン制御ソフトウェア環境に付加的なソフトウェア依存関係を導入することなく,実験中の基本データ解析をリアルタイムで行うソリューションを提案する。
論文参考訳（メタデータ） (2023-06-20T21:21:19Z)
Perceiver-VL: Efficient Vision-and-Language Modeling with Iterative Latent Attention [100.81495948184649]
本稿では,長いビデオやテキストなどの高次元マルチモーダル入力を効率的に処理する視覚・言語フレームワークPerceiver-VLを提案する。我々のフレームワークは、多くの最先端のトランスフォーマーベースモデルで使用される自己注意の二次的な複雑さとは対照的に、線形複雑性でスケールする。
論文参考訳（メタデータ） (2022-11-21T18:22:39Z)
A review of TinyML [0.0]
TinyMLの組み込み機械学習の概念は、このような多様性を、通常のハイエンドアプローチからローエンドアプリケーションへと押し上げようとしている。 TinyMLは、機械学習、ソフトウェア、ハードウェアの統合において、急速に拡大する学際的なトピックである。本稿では,TinyMLがいくつかの産業分野,その障害,その将来的な範囲にどのようなメリットをもたらすのかを考察する。
論文参考訳（メタデータ） (2022-11-05T06:02:08Z)
An Ultra-low Power TinyML System for Real-time Visual Processing at Edge [7.327401565768275]
このブリーフィングは、様々な視覚タスクのための高効率CNNモデルを構築するために、非常に小さなバックボーンを提示する。特別に設計されたニューラルコプロセッサ(NCP)は、超低消費電力のTinyMLシステムを構築するためにMCUと相互接続される。我々のモデル, NCP, 命令セットに基づくTinyMLシステムは, 精度が高く, 記録的な160mW超低出力を実現している。
論文参考訳（メタデータ） (2022-07-11T06:56:27Z)
How to Manage Tiny Machine Learning at Scale: An Industrial Perspective [5.384059021764428]
TinyML(TinyML)は、ユビキタスマイクロコントローラ上で機械学習(ML)が民主化され、広く普及している。 TinyMLモデルは異なる構造で開発されており、その動作原理を明確に理解せずに配布されることが多い。本稿では,TinyMLモデルとIoTデバイスを大規模に管理するためのセマンティックWeb技術を用いたフレームワークを提案する。
論文参考訳（メタデータ） (2022-02-18T10:36:11Z)
FAMINet: Learning Real-time Semi-supervised Video Object Segmentation with Steepest Optimized Optical Flow [21.45623125216448]
半教師付きビデオオブジェクトセグメンテーション(VOS)は、ビデオシーケンス内のいくつかの動くオブジェクトをセグメント化することを目的としており、これらのオブジェクトは第一フレームのアノテーションによって指定される。光の流れは、セグメンテーションの精度を向上させるために、多くの既存の半教師付きVOS法で考慮されてきた。本稿では,特徴抽出ネットワーク(F),外観ネットワーク(A),運動ネットワーク(M),統合ネットワーク(I)からなるFAMINetを提案する。
論文参考訳（メタデータ） (2021-11-20T07:24:33Z)
Feature Flow: In-network Feature Flow Estimation for Video Object Detection [56.80974623192569]
光の流れはコンピュータビジョンのタスクで広く使われ、ピクセルレベルのモーション情報を提供する。一般的なアプローチは、ニューラルネットワークへの前向き光学フローと、タスクデータセット上のこのネットワークの微調整である。ビデオオブジェクト検出のための textbfIn-network textbfFeature textbfFlow 推定モジュールを用いた新しいネットワーク (IFF-Net) を提案する。
論文参考訳（メタデータ） (2020-09-21T07:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。