論文の概要: A Framework for Event-based Computer Vision on a Mobile Device

• arxiv url: http://arxiv.org/abs/2205.06836v1
• Date: Fri, 13 May 2022 18:06:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-19 12:09:51.339423
• Title: A Framework for Event-based Computer Vision on a Mobile Device
• Title（参考訳）: モバイルデバイス上でのイベントベースのコンピュータビジョンのためのフレームワーク
• Authors: Gregor Lenz, Serge Picaud, Sio-Hoi Ieng
• Abstract要約: イベントカメラから直接携帯電話にデータをストリームする,初めて公開されたAndroidフレームワークを提示する。 私たちのプロトタイプデバイスは、そのようなイベントカメラをバッテリー駆動のハンドヘルドデバイスに組み込むための第一歩です。
• 参考スコア（独自算出の注目度）: 3.912482311158817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present the first publicly available Android framework to stream data from an event camera directly to a mobile phone. Today's mobile devices handle a wider range of workloads than ever before and they incorporate a growing gamut of sensors that make devices smarter, more user friendly and secure. Conventional cameras in particular play a central role in such tasks, but they cannot record continuously, as the amount of redundant information recorded is costly to process. Bio-inspired event cameras on the other hand only record changes in a visual scene and have shown promising low-power applications that specifically suit mobile tasks such as face detection, gesture recognition or gaze tracking. Our prototype device is the first step towards embedding such an event camera into a battery-powered handheld device. The mobile framework allows us to stream events in real-time and opens up the possibilities for always-on and on-demand sensing on mobile phones. To liaise the asynchronous event camera output with synchronous von Neumann hardware, we look at how buffering events and processing them in batches can benefit mobile applications. We evaluate our framework in terms of latency and throughput and show examples of computer vision tasks that involve both event-by-event and pre-trained neural network methods for gesture recognition, aperture robust optical flow and grey-level image reconstruction from events. The code is available at https://github.com/neuromorphic-paris/frog
• Abstract（参考訳）: イベントカメラから直接携帯電話にデータをストリームする,初めて公開されたAndroidフレームワークを提示する。 今日のモバイルデバイスは、これまで以上に幅広いワークロードを処理し、デバイスをより賢く、よりユーザーフレンドリーで、セキュアにするセンサーを多用しています。 特に従来のカメラは、こうしたタスクにおいて中心的な役割を果たすが、記録される冗長な情報の量は処理にコストがかかるため、継続的に記録することはできない。 一方、バイオインスパイアされたイベントカメラは、視覚シーンの変化しか記録せず、顔検出、ジェスチャー認識、視線追跡などのモバイルタスクに特に適合する、有望な低電力アプリケーションを示している。 私たちのプロトタイプデバイスは、このようなイベントカメラをバッテリー駆動のハンドヘルドデバイスに組み込むための第一歩です。 モバイルフレームワークは、イベントをリアルタイムでストリーミングし、携帯電話上で常時オンおよびオンデマンドのセンシングを可能にする。 同期von neumannハードウェアによる非同期イベントカメラ出力のリアライズには,イベントのバッファリングとバッチ処理がモバイルアプリケーションに与える影響を検討する。 提案手法は,遅延とスループットの観点から評価し,ジェスチャ認識,アパーチャロバストな光学フロー,イベントからのグレーレベル画像再構成など,イベントバイイベントと事前トレーニングされたニューラルネットワークの手法を併用したコンピュータビジョンタスクの例を示す。 コードはhttps://github.com/neuromorphic-paris/frogで入手できる。

関連論文リスト

• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• Investigating Event-Based Cameras for Video Frame Interpolation in Sports [59.755469098797406]
  本稿では,スポーツスローモーションビデオを生成するためのイベントベースビデオフレーム補間(VFI)モデルについて検討する。 特に,スポーツ映像を撮影するためのRGBとイベントベースカメラを含むバイカメラ記録装置の設計と実装を行い,両カメラの時間的整列と空間的登録を行う。 実験により,市販のイベントベースVFIモデルであるTimeLensが,スポーツビデオのスローモーション映像を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2024-07-02T15:39:08Z)
• TimeRewind: Rewinding Time with Image-and-Events Video Diffusion [10.687722181495065]
  本稿では,シャッターボタンが押される直前に欠落したフリーティングモーメントを回復するために,単一のキャプチャ画像からタイムを巻き戻すという,新たな課題について述べる。 我々は、時間分解能の高いモーション情報をキャプチャするニューロモルフィックイベントカメラの新興技術を活用することで、この課題を克服する。 提案フレームワークは,イベントカメラデータに基づくイベントモーションアダプタを導入し,この拡散モデルを用いて,キャプチャしたイベントに視覚的に整合性を持ち,物理的に接地した映像を生成する。
  論文  参考訳（メタデータ） (2024-03-20T17:57:02Z)
• Neuromorphic Imaging and Classification with Graph Learning [11.882239213276392]
  バイオインスパイアされたニューロモルフィックカメラは、画素輝度変化を非同期に記録し、スパースイベントストリームを生成する。 多次元アドレスイベント構造のため、既存の視覚アルゴリズムは非同期イベントストリームを適切に扱えない。 イベントデータの新しいグラフ表現を提案し,それをグラフ変換器と組み合わせて正確なニューロモルフィック分類を行う。
  論文  参考訳（メタデータ） (2023-09-27T12:58:18Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• TimeReplayer: Unlocking the Potential of Event Cameras for Video Interpolation [78.99283105497489]
  イベントカメラは、任意に複雑な動きのあるビデオを可能にする新しいデバイスである。 本稿では,コモディティカメラが捉えた映像とイベントとを補間するTimeReplayerアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-25T18:57:42Z)
• E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action Recognition [21.199869051111367]
  イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます N-EPIC-Kitchensは、大規模なEPIC-Kitchensデータセットの最初のイベントベースのカメラ拡張である。 イベントデータは、RGBと光フローに匹敵するパフォーマンスを提供するが、デプロイ時に追加のフロー計算を行わないことを示す。
  論文  参考訳（メタデータ） (2021-12-07T09:43:08Z)
• Bridging the Gap between Events and Frames through Unsupervised Domain Adaptation [57.22705137545853]
  本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。 生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。 われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
  論文  参考訳（メタデータ） (2021-09-06T17:31:37Z)
• EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
  単眼ビデオからの3d手ポーズ推定は、長年の課題である。 我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。 従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
  論文  参考訳（メタデータ） (2020-12-11T16:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。