論文の概要: Unsupervised Optical Flow Estimation with Dynamic Timing Representation for Spike Camera

• arxiv url: http://arxiv.org/abs/2307.06003v1
• Date: Wed, 12 Jul 2023 08:30:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 13:50:49.014805
• Title: Unsupervised Optical Flow Estimation with Dynamic Timing Representation for Spike Camera
• Title（参考訳）: スパイクカメラの動的タイミング表現による教師なし光フロー推定
• Authors: Lujie Xia, Ziluo Ding, Rui Zhao, Jiyuan Zhang, Lei Ma, Zhaofei Yu, Tiejun Huang, Ruiqin Xiong
• Abstract要約: 適切なスパイクストリームデータ長を効率的に選択することがスパイクビジョンタスクの鍵となる。 多層構造に基づいて、時間次元に拡張畳み込みを適用し、パラメータが少ない多層構造の特徴を抽出する。 また、ラベル付きデータへの依存を断ち切るために、スパイクに基づく光フロー推定のための教師なし学習手法を提案する。
• 参考スコア（独自算出の注目度）: 36.27658123246656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficiently selecting an appropriate spike stream data length to extract precise information is the key to the spike vision tasks. To address this issue, we propose a dynamic timing representation for spike streams. Based on multi-layers architecture, it applies dilated convolutions on temporal dimension to extract features on multi-temporal scales with few parameters. And we design layer attention to dynamically fuse these features. Moreover, we propose an unsupervised learning method for optical flow estimation in a spike-based manner to break the dependence on labeled data. In addition, to verify the robustness, we also build a spike-based synthetic validation dataset for extreme scenarios in autonomous driving, denoted as SSES dataset. It consists of various corner cases. Experiments show that our method can predict optical flow from spike streams in different high-speed scenes, including real scenes. For instance, our method gets $15\%$ and $19\%$ error reduction from the best spike-based work, SCFlow, in $\Delta t=10$ and $\Delta t=20$ respectively which are the same settings as the previous works.
• Abstract（参考訳）: 正確な情報を抽出するために適切なスパイクストリームデータ長を効率よく選択することがスパイクビジョンタスクの鍵となる。 この問題に対処するために,スパイクストリームの動的タイミング表現を提案する。 多層構造に基づき、時間次元上の拡張畳み込みを適用し、パラメータの少ない多時間スケールの特徴を抽出する。 そして、これらの機能を動的に融合するために層注意をデザインします。 さらに,ラベル付きデータへの依存を断ち切るために,スパイクに基づく光フロー推定のための教師なし学習手法を提案する。 さらに、ロバスト性を検証するために、SSESデータセットと呼ばれる自動運転における極端なシナリオのためのスパイクベースの合成検証データセットを構築する。 様々なコーナーケースで構成されている。 実験により,本手法は実際のシーンを含む異なる高速シーンにおけるスパイクストリームからの光流れを予測できることを示した。 例えば、私たちのメソッドは、最高のスパイクベースの作業であるSCFlowから、それぞれ$15\%と$19\%のエラー削減を、以前の作業と同じ設定である$\Delta t=10$と$\Delta t=20$で取得します。

関連論文リスト

• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• MemFlow: Optical Flow Estimation and Prediction with Memory [54.22820729477756]
  本稿では,メモリを用いた光フロー推定と予測をリアルタイムに行うMemFlowを提案する。 本手法では,メモリの読み出しと更新を行うモジュールをリアルタイムに収集する。 われわれのアプローチは、過去の観測に基づいて、将来の光流の予測にシームレスに拡張する。
  論文  参考訳（メタデータ） (2024-04-07T04:56:58Z)
• DeFlow: Decoder of Scene Flow Network in Autonomous Driving [19.486167661795797]
  シーンフロー推定は、シーン内のポイントの運動を予測することによって、シーンの3次元運動場を決定する。 入力として大規模な点雲を持つ多くのネットワークは、リアルタイム実行のための擬似イメージを作成するためにボキセル化を使用する。 本稿では, Gated Recurrent Unit (GRU) の改良により, ボクセルをベースとした特徴から点への遷移を可能にするDeFlowを紹介した。
  論文  参考訳（メタデータ） (2024-01-29T12:47:55Z)
• Multi-Body Neural Scene Flow [37.31530794244607]
  本研究では, 剛体のSE(3)$パラメータを制約する, 煩雑で不安定な戦略を使わずに, 多体剛性を実現することができることを示す。 これは、剛体に対する流れ予測における等尺性を促進するために、シーンフロー最適化を規則化することによって達成される。 実世界のデータセットに関する広範な実験を行い、我々の手法が3次元シーンフローにおける最先端の4次元軌道予測と長期的ポイントワイドの4次元軌道予測より優れていることを実証した。
  論文  参考訳（メタデータ） (2023-10-16T11:37:53Z)
• STREAMLINE: Streaming Active Learning for Realistic Multi-Distributional Settings [2.580765958706854]
  STREAMLINEは、シナリオ駆動スライス不均衡を緩和する新しいストリーミングアクティブラーニングフレームワークである。 画像分類とオブジェクト検出タスクのための実世界のストリーミングシナリオ上でSTREAMLINEを評価する。
  論文  参考訳（メタデータ） (2023-05-18T02:01:45Z)
• Real-time Object Detection for Streaming Perception [84.2559631820007]
  ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。 ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。 提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
  論文  参考訳（メタデータ） (2022-03-23T11:33:27Z)
• SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
  スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。 光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。 本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
  論文  参考訳（メタデータ） (2021-10-08T06:16:45Z)
• FESTA: Flow Estimation via Spatial-Temporal Attention for Scene Point Clouds [28.899804787744202]
  シーンフローは、自律運転、ロボットナビゲーション、AR/VRなど、さまざまなアプリケーションにとって重要な3Dシーンのダイナミクスを描いている。 典型的な点雲サンプリングパターンのばらつきと不規則さのため、点雲からシーンフローを抽出することは依然として困難である。 不安定な抽象問題を軽減するために, 注意を伴う空間抽象(SA2)層を提案する。 a temporal abstraction with attention (ta2) layer は、時間領域における注意を正すために提案され、より広い範囲でスケールされた動きの利点をもたらす。
  論文  参考訳（メタデータ） (2021-04-01T23:04:04Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。