論文の概要: Dense Continuous-Time Optical Flow from Events and Frames

• arxiv url: http://arxiv.org/abs/2203.13674v2
• Date: Sun, 11 Feb 2024 15:26:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 01:40:35.792156
• Title: Dense Continuous-Time Optical Flow from Events and Frames
• Title（参考訳）: イベントとフレームからの高密度連続時間光流れ
• Authors: Mathias Gehrig and Manasi Muglikar and Davide Scaramuzza
• Abstract要約: イベントカメラからのイベントを用いて,画素ごとの連続時間光フローを計算可能であることを示す。 これらの利点を利用して、パラメータ化されたB'ezier曲線を介して連続時間でピクセル軌跡を密に予測する。 我々のモデルは、イベントデータから高密度画素軌道を回帰できる最初の方法である。
• 参考スコア（独自算出の注目度）: 27.1850072968441
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present a method for estimating dense continuous-time optical flow from event data. Traditional dense optical flow methods compute the pixel displacement between two images. Due to missing information, these approaches cannot recover the pixel trajectories in the blind time between two images. In this work, we show that it is possible to compute per-pixel, continuous-time optical flow using events from an event camera. Events provide temporally fine-grained information about movement in pixel space due to their asynchronous nature and microsecond response time. We leverage these benefits to predict pixel trajectories densely in continuous time via parameterized B\'ezier curves. To achieve this, we build a neural network with strong inductive biases for this task: First, we build multiple sequential correlation volumes in time using event data. Second, we use B\'ezier curves to index these correlation volumes at multiple timestamps along the trajectory. Third, we use the retrieved correlation to update the B\'ezier curve representations iteratively. Our method can optionally include image pairs to boost performance further. To the best of our knowledge, our model is the first method that can regress dense pixel trajectories from event data. To train and evaluate our model, we introduce a synthetic dataset (MultiFlow) that features moving objects and ground truth trajectories for every pixel. Our quantitative experiments not only suggest that our method successfully predicts pixel trajectories in continuous time but also that it is competitive in the traditional two-view pixel displacement metric on MultiFlow and DSEC-Flow. Open source code and datasets are released to the public.
• Abstract（参考訳）: 本稿では,イベントデータから高密度連続時間光流れを推定する手法を提案する。 従来の高密度光フロー法は2つの画像間の画素の変位を計算する。 情報不足のため、これらの手法は2つの画像間の盲点時間で画素軌跡を復元できない。 本研究では,イベントカメラからのイベントを用いて,画素ごとの連続時間光フローを計算可能であることを示す。 イベントは、その非同期性とマイクロ秒応答時間のために、ピクセル空間の移動に関する時間的詳細情報を提供する。 これらの利点を利用して、パラメータ化されたB\'ezier曲線を介して連続時間でピクセル軌跡を密に予測する。 これを実現するために、我々はこのタスクに強い帰納的バイアスを持つニューラルネットワークを構築する: まず、イベントデータを使用して複数の時系列相関ボリュームを時間内に構築する。 次に、b\'ezier曲線を用いて、軌道に沿って複数のタイムスタンプでこれらの相関ボリュームをインデックスする。 第3に、検索された相関を用いてb\'ezier曲線表現を反復的に更新する。 本手法は, 画像対を任意に含み, さらなる性能向上を図ることができる。 我々の知る限りでは、我々のモデルはイベントデータから高密度画素軌道を回帰できる最初の方法である。 モデルのトレーニングと評価を行うため,各画素に対して移動物体と地上真実軌道を特徴付ける合成データセット(MultiFlow)を導入する。 提案手法は,連続時間における画素軌跡の予測に有効であるだけでなく,マルチフローとdsecフローにおける従来の2視点画素変位測定値と競合することを示唆する。 オープンソースコードとデータセットは一般公開されている。

関連論文リスト

• bit2bit: 1-bit quanta video reconstruction via self-supervised photon prediction [57.199618102578576]
  疎二分量時間画像データから高画質の画像スタックを元の解像度で再構成する新しい方法であるbit2bitを提案する。 Poisson denoisingの最近の研究に触発されて、スパースバイナリ光子データから高密度な画像列を生成するアルゴリズムを開発した。 本研究では,様々な課題の画像条件下でのSPADの高速映像を多種多種に含む新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:30:35Z)
• MemFlow: Optical Flow Estimation and Prediction with Memory [54.22820729477756]
  本稿では,メモリを用いた光フロー推定と予測をリアルタイムに行うMemFlowを提案する。 本手法では,メモリの読み出しと更新を行うモジュールをリアルタイムに収集する。 われわれのアプローチは、過去の観測に基づいて、将来の光流の予測にシームレスに拡張する。
  論文  参考訳（メタデータ） (2024-04-07T04:56:58Z)
• Graph-based Asynchronous Event Processing for Rapid Object Recognition [59.112755601918074]
  イベントカメラは、各イベントがピクセル位置、トリガ時間、明るさの極性が変化するような非同期イベントストリームをキャプチャする。 イベントカメラのための新しいグラフベースのフレームワーク、SlideGCNを紹介した。 当社のアプローチでは、データをイベント単位で効率的に処理し、内部でグラフの構造を維持しながら、イベントデータの低レイテンシ特性を解放することが可能です。
  論文  参考訳（メタデータ） (2023-08-28T08:59:57Z)
• BlinkFlow: A Dataset to Push the Limits of Event-based Optical Flow Estimation [76.66876888943385]
  イベントカメラは、高時間精度、低データレート、高ダイナミックレンジ視覚知覚を提供する。 イベントベース光フローのための大規模データを高速に生成するための新しいシミュレータBlinkSimを提案する。
  論文  参考訳（メタデータ） (2023-03-14T09:03:54Z)
• Optical flow estimation from event-based cameras and spiking neural networks [0.4899818550820575]
  イベントベースセンサーはスパイキングニューラルネットワーク(SNN)に最適である 教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。 分離可能な畳み込みにより、我々は、合理的に正確な光フロー推定が得られる光モデルを開発することができた。
  論文  参考訳（メタデータ） (2023-02-13T16:17:54Z)
• Deep Dynamic Scene Deblurring from Optical Flow [53.625999196063574]
  汚れは視覚的により快適な写真を提供し、写真がより便利になる。 非均一な曖昧さを数学的にモデル化することは困難である。 我々は,難解な特徴から鮮明な画像を復元する畳み込みニューラルネットワーク(CNN)を開発した。
  論文  参考訳（メタデータ） (2023-01-18T06:37:21Z)
• Learning Dense and Continuous Optical Flow from an Event Camera [28.77846425802558]
  DAVISのようなイベントカメラは、高時間分解能イベントと低フレームレートの強度イメージを同時に出力することができる。 既存の光学フロー推定法のほとんどは、2つの連続した画像フレームに基づいており、固定時間間隔でのみ離散フローを推定できる。 本稿では,イベントストリームを持つ単一画像から,深層学習に基づく高密度かつ連続的な光フロー推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-16T17:53:18Z)
• RealFlow: EM-based Realistic Optical Flow Dataset Generation from Videos [28.995525297929348]
  RealFlowは、ラベルのないリアルなビデオから直接、大規模な光フローデータセットを作成することができるフレームワークである。 まず,一対のビデオフレーム間の光フローを推定し,予測されたフローに基づいて,このペアから新たな画像を生成する。 本手法は,教師付きおよび教師なしの光流法と比較して,2つの標準ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-22T13:33:03Z)
• Particle Videos Revisited: Tracking Through Occlusions Using Point Trajectories [29.258861811749103]
  我々はSandとTellerの"パーティクルビデオ"アプローチを再検討し、長距離モーション推定問題としてピクセル追跡について検討する。 私たちはこの古典的なアプローチを、現在の最先端のフローとオブジェクトトラッキングを駆動するコンポーネントを使って再構築します。 既存の光学フローデータセットから抽出した長距離アモーダル点軌道を用いてモデルを訓練する。
  論文  参考訳（メタデータ） (2022-04-08T16:05:48Z)
• SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
  スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。 光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。 本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
  論文  参考訳（メタデータ） (2021-10-08T06:16:45Z)
• OmniFlow: Human Omnidirectional Optical Flow [0.0]
  我々はomniflow: a new synthetic omnidirectional human optical flow datasetを提案する。 レンダリングエンジンに基づいて、テクスチャルーム、キャラクター、アクション、オブジェクト、イルミネーション、モーションボケを備えた自然主義的な3D屋内環境を作成します。 シミュレーションは、家庭内活動の出力画像と、それに対応する前方および後方の光学的流れを有する。
  論文  参考訳（メタデータ） (2021-04-16T08:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。