論文の概要: Learning Optical Flow from Event Camera with Rendered Dataset

• arxiv url: http://arxiv.org/abs/2303.11011v1
• Date: Mon, 20 Mar 2023 10:44:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 15:54:12.663593
• Title: Learning Optical Flow from Event Camera with Rendered Dataset
• Title（参考訳）: レンダリングデータセットを用いたイベントカメラからの光フローの学習
• Authors: Xinglong Luo, Kunming Luo, Ao Luo, Zhengning Wang, Ping Tan, Shuaicheng Liu
• Abstract要約: コンピュータグラフィックスモデルを用いて物理的に正しいイベントフローデータセットを描画する。 特に,Blenderによって室内および屋外の3Dシーンを,リッチなシーン内容のバリエーションで生成する。
• 参考スコア（独自算出の注目度）: 45.4342948504988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of estimating optical flow from event cameras. One important issue is how to build a high-quality event-flow dataset with accurate event values and flow labels. Previous datasets are created by either capturing real scenes by event cameras or synthesizing from images with pasted foreground objects. The former case can produce real event values but with calculated flow labels, which are sparse and inaccurate. The later case can generate dense flow labels but the interpolated events are prone to errors. In this work, we propose to render a physically correct event-flow dataset using computer graphics models. In particular, we first create indoor and outdoor 3D scenes by Blender with rich scene content variations. Second, diverse camera motions are included for the virtual capturing, producing images and accurate flow labels. Third, we render high-framerate videos between images for accurate events. The rendered dataset can adjust the density of events, based on which we further introduce an adaptive density module (ADM). Experiments show that our proposed dataset can facilitate event-flow learning, whereas previous approaches when trained on our dataset can improve their performances constantly by a relatively large margin. In addition, event-flow pipelines when equipped with our ADM can further improve performances.
• Abstract（参考訳）: イベントカメラから光流れを推定する問題について検討する。 重要な問題のひとつは、正確なイベント値とフローラベルを備えた高品質なイベントフローデータセットを構築する方法だ。 以前のデータセットは、イベントカメラで実際のシーンをキャプチャするか、ペーストされたフォアグラウンドオブジェクトで画像から合成することで作成される。 前者のケースは実際のイベント値を生成するが、計算されたフローラベルはスパースで不正確である。 後者の場合、密なフローラベルを生成することができるが、補間されたイベントはエラーを起こしやすい。 本研究では,コンピュータグラフィックスモデルを用いて物理的に正しいイベントフローデータセットを作成することを提案する。 特に,室内および屋外の3dシーンを,リッチなシーンコンテンツのバリエーションをブレンダーで作成する。 第2に,仮想キャプチャや画像生成,正確なフローラベルなど,さまざまなカメラ動作が含まれている。 第3に、正確なイベントのために画像間で高フレームのビデオをレンダリングする。 レンダリングされたデータセットはイベントの密度を調整することができ、さらに適応密度モジュール(ADM)を導入する。 実験によれば、提案するデータセットはイベントフロー学習を促進できるが、データセットでトレーニングされた以前のアプローチは、比較的大きなマージンで常にパフォーマンスを向上させることができる。 さらに、ADMを装備したイベントフローパイプラインにより、パフォーマンスがさらに向上する。

関連論文リスト

• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• Evaluating Image-Based Face and Eye Tracking with Event Cameras [9.677797822200965]
  イベントカメラはニューロモルフィックセンサーとしても知られており、ピクセルレベルの局所光強度の変化を捉え、非同期に生成されたイベントと呼ばれるデータを生成する。 このデータフォーマットは、高速で動く物体を撮影する際のアンダーサンプリングのような、従来のカメラで観察される一般的な問題を緩和する。 我々は、従来のアルゴリズムとイベントベースのデータを統合することにより、フレーム形式に変換される可能性を評価する。
  論文  参考訳（メタデータ） (2024-08-19T20:27:08Z)
• Text-to-Events: Synthetic Event Camera Streams from Conditional Text Input [8.365349007799296]
  イベントカメラは、低レイテンシとスパース出力応答を持つ視覚センサーを必要とするタスクに有利である。 本稿では,テキスト・ツー・Xモデルを用いてラベル付きイベント・データセットを新たに作成する方法を報告する。 本モデルでは,異なる文文によって引き起こされる人間のジェスチャーのリアルなイベントシーケンスを生成できることを実証する。
  論文  参考訳（メタデータ） (2024-06-05T16:34:12Z)
• EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
  EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。 NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。 各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T21:08:41Z)
• BlinkFlow: A Dataset to Push the Limits of Event-based Optical Flow Estimation [76.66876888943385]
  イベントカメラは、高時間精度、低データレート、高ダイナミックレンジ視覚知覚を提供する。 イベントベース光フローのための大規模データを高速に生成するための新しいシミュレータBlinkSimを提案する。
  論文  参考訳（メタデータ） (2023-03-14T09:03:54Z)
• VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows [93.54888104118822]
  このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。 私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。 VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
  論文  参考訳（メタデータ） (2021-08-11T03:55:12Z)
• The Spatio-Temporal Poisson Point Process: A Simple Model for the Alignment of Event Camera Data [19.73526916714181]
  イベントカメラは、視覚情報の自然で効率的な表現を提供する。 本稿では,その自然時間構造を捉えたイベントデータの新しいモデルを提案する。 DAVIS 240Cデータセット上での回転速度推定の精度向上について述べる。
  論文  参考訳（メタデータ） (2021-06-13T00:43:27Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。