論文の概要: A Framework for Event-based Computer Vision on a Mobile Device
- arxiv url: http://arxiv.org/abs/2205.06836v1
- Date: Fri, 13 May 2022 18:06:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-19 12:09:51.339423
- Title: A Framework for Event-based Computer Vision on a Mobile Device
- Title(参考訳): モバイルデバイス上でのイベントベースのコンピュータビジョンのためのフレームワーク
- Authors: Gregor Lenz, Serge Picaud, Sio-Hoi Ieng
- Abstract要約: イベントカメラから直接携帯電話にデータをストリームする,初めて公開されたAndroidフレームワークを提示する。
私たちのプロトタイプデバイスは、そのようなイベントカメラをバッテリー駆動のハンドヘルドデバイスに組み込むための第一歩です。
- 参考スコア(独自算出の注目度): 3.912482311158817
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present the first publicly available Android framework to stream data from
an event camera directly to a mobile phone. Today's mobile devices handle a
wider range of workloads than ever before and they incorporate a growing gamut
of sensors that make devices smarter, more user friendly and secure.
Conventional cameras in particular play a central role in such tasks, but they
cannot record continuously, as the amount of redundant information recorded is
costly to process. Bio-inspired event cameras on the other hand only record
changes in a visual scene and have shown promising low-power applications that
specifically suit mobile tasks such as face detection, gesture recognition or
gaze tracking. Our prototype device is the first step towards embedding such an
event camera into a battery-powered handheld device. The mobile framework
allows us to stream events in real-time and opens up the possibilities for
always-on and on-demand sensing on mobile phones. To liaise the asynchronous
event camera output with synchronous von Neumann hardware, we look at how
buffering events and processing them in batches can benefit mobile
applications. We evaluate our framework in terms of latency and throughput and
show examples of computer vision tasks that involve both event-by-event and
pre-trained neural network methods for gesture recognition, aperture robust
optical flow and grey-level image reconstruction from events. The code is
available at https://github.com/neuromorphic-paris/frog
- Abstract(参考訳): イベントカメラから直接携帯電話にデータをストリームする,初めて公開されたAndroidフレームワークを提示する。
今日のモバイルデバイスは、これまで以上に幅広いワークロードを処理し、デバイスをより賢く、よりユーザーフレンドリーで、セキュアにするセンサーを多用しています。
特に従来のカメラは、こうしたタスクにおいて中心的な役割を果たすが、記録される冗長な情報の量は処理にコストがかかるため、継続的に記録することはできない。
一方、バイオインスパイアされたイベントカメラは、視覚シーンの変化しか記録せず、顔検出、ジェスチャー認識、視線追跡などのモバイルタスクに特に適合する、有望な低電力アプリケーションを示している。
私たちのプロトタイプデバイスは、このようなイベントカメラをバッテリー駆動のハンドヘルドデバイスに組み込むための第一歩です。
モバイルフレームワークは、イベントをリアルタイムでストリーミングし、携帯電話上で常時オンおよびオンデマンドのセンシングを可能にする。
同期von neumannハードウェアによる非同期イベントカメラ出力のリアライズには,イベントのバッファリングとバッチ処理がモバイルアプリケーションに与える影響を検討する。
提案手法は,遅延とスループットの観点から評価し,ジェスチャ認識,アパーチャロバストな光学フロー,イベントからのグレーレベル画像再構成など,イベントバイイベントと事前トレーニングされたニューラルネットワークの手法を併用したコンピュータビジョンタスクの例を示す。
コードはhttps://github.com/neuromorphic-paris/frogで入手できる。
関連論文リスト
- Distractor-aware Event-based Tracking [45.07711356111249]
本稿では,シームズネットワークアーキテクチャ(DANet)にトランスフォーマーモジュールを導入するイベントベースのトラッカーを提案する。
本モデルは主にモーション認識ネットワークとターゲット認識ネットワークで構成され,イベントデータから動作キューとオブジェクトの輪郭の両方を同時に活用する。
私たちのDANetは、後処理なしでエンドツーエンドでトレーニングでき、単一のV100上で80FPS以上で実行できます。
論文 参考訳(メタデータ) (2023-10-22T05:50:20Z) - EGVD: Event-Guided Video Deraining [57.59935209162314]
本稿では,ビデオデライニングのためのイベントカメラの可能性を解放するエンド・ツー・エンドの学習ネットワークを提案する。
雨の多いビデオと時間的に同期されたイベントストリームからなる現実世界のデータセットを構築します。
論文 参考訳(メタデータ) (2023-09-29T13:47:53Z) - Neuromorphic Imaging and Classification with Graph Learning [13.354446098659794]
バイオインスパイアされたニューロモルフィックカメラは、画素輝度変化を非同期に記録し、スパースイベントストリームを生成する。
多次元アドレスイベント構造のため、既存の視覚アルゴリズムは非同期イベントストリームを適切に扱えない。
イベントデータの新しいグラフ表現を提案し,それをグラフ変換器と組み合わせて正確なニューロモルフィック分類を行う。
論文 参考訳(メタデータ) (2023-09-27T12:58:18Z) - EventTransAct: A video transformer-based framework for Event-camera
based action recognition [52.537021302246664]
イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。
本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。
イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
論文 参考訳(メタデータ) (2023-08-25T23:51:07Z) - Event-Free Moving Object Segmentation from Moving Ego Vehicle [90.66285408745453]
動的シーンにおけるオブジェクトセグメンテーション(MOS)の移動は、自律運転において困難である。
ほとんどの最先端の手法は、光学フローマップから得られるモーションキューを利用する。
我々は,光学的フローに頼らずにリッチなモーションキューを提供する,より優れた映像理解のためのイベントカメラを活用することを提案する。
論文 参考訳(メタデータ) (2023-04-28T23:43:10Z) - TimeReplayer: Unlocking the Potential of Event Cameras for Video
Interpolation [78.99283105497489]
イベントカメラは、任意に複雑な動きのあるビデオを可能にする新しいデバイスである。
本稿では,コモディティカメラが捉えた映像とイベントとを補間するTimeReplayerアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-25T18:57:42Z) - E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action
Recognition [21.199869051111367]
イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます
N-EPIC-Kitchensは、大規模なEPIC-Kitchensデータセットの最初のイベントベースのカメラ拡張である。
イベントデータは、RGBと光フローに匹敵するパフォーマンスを提供するが、デプロイ時に追加のフロー計算を行わないことを示す。
論文 参考訳(メタデータ) (2021-12-07T09:43:08Z) - Bridging the Gap between Events and Frames through Unsupervised Domain
Adaptation [57.22705137545853]
本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。
生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。
われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
論文 参考訳(メタデータ) (2021-09-06T17:31:37Z) - EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
単眼ビデオからの3d手ポーズ推定は、長年の課題である。
我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。
従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
論文 参考訳(メタデータ) (2020-12-11T16:45:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。