論文の概要: Bridge Frame and Event: Common Spatiotemporal Fusion for High-Dynamic Scene Optical Flow

• arxiv url: http://arxiv.org/abs/2503.06992v1
• Date: Mon, 10 Mar 2025 07:16:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:48:09.380881
• Title: Bridge Frame and Event: Common Spatiotemporal Fusion for High-Dynamic Scene Optical Flow
• Title（参考訳）: ブリッジフレームとイベント:高ダイナミック・シーン光流の時空間核融合
• Authors: Hanyu Zhou, Haonan Wang, Haoyue Liu, Yuxing Duan, Yi Chang, Luxin Yan,
• Abstract要約: 本稿では,高ダイナミックなシーン光流に対するフレームとイベントのモダリティ間の新しい共通モダリティ融合を提案する。 運動融合では、フレームベースの動きは空間的に密度が高いが時間的に不連続な相関を持つのに対して、イベントベースの動きは疎いが時間的に連続的な相関を持つことがわかった。
• 参考スコア（独自算出の注目度）: 21.821959971338767
• License:
• Abstract: High-dynamic scene optical flow is a challenging task, which suffers spatial blur and temporal discontinuous motion due to large displacement in frame imaging, thus deteriorating the spatiotemporal feature of optical flow. Typically, existing methods mainly introduce event camera to directly fuse the spatiotemporal features between the two modalities. However, this direct fusion is ineffective, since there exists a large gap due to the heterogeneous data representation between frame and event modalities. To address this issue, we explore a common-latent space as an intermediate bridge to mitigate the modality gap. In this work, we propose a novel common spatiotemporal fusion between frame and event modalities for high-dynamic scene optical flow, including visual boundary localization and motion correlation fusion. Specifically, in visual boundary localization, we figure out that frame and event share the similar spatiotemporal gradients, whose similarity distribution is consistent with the extracted boundary distribution. This motivates us to design the common spatiotemporal gradient to constrain the reference boundary localization. In motion correlation fusion, we discover that the frame-based motion possesses spatially dense but temporally discontinuous correlation, while the event-based motion has spatially sparse but temporally continuous correlation. This inspires us to use the reference boundary to guide the complementary motion knowledge fusion between the two modalities. Moreover, common spatiotemporal fusion can not only relieve the cross-modal feature discrepancy, but also make the fusion process interpretable for dense and continuous optical flow. Extensive experiments have been performed to verify the superiority of the proposed method.
• Abstract（参考訳）: フレーム画像の変位が大きいため,空間的曖昧さや時間的不連続な動きに悩まされ,光学的流れの時空間的特徴が低下する。 通常、既存の手法は、主に2つのモード間の時空間的特徴を直接融合させるイベントカメラを導入している。 しかし、この直接融合は、フレームとイベントのモダリティの間の不均一なデータ表現による大きなギャップが存在するため、効果がない。 この問題に対処するために、モダリティギャップを軽減するための中間ブリッジとして、共通ラテント空間を探索する。 本研究では,視覚境界の局在化や動き相関の融合を含む,高ダイナミックなシーン光流に対するフレームとイベントの時空間融合を新たに提案する。 具体的には、視覚境界の局所化において、フレームとイベントが類似した時空間勾配を共有し、類似性分布は抽出された境界分布と一致していることを示す。 これは、基準境界の局所化を制限するために、共通の時空間勾配を設計する動機となる。 動き相関融合では、フレームベースの動きが空間的に密度が高いが時間的に不連続な相関を持つのに対して、イベントベースの動きは空間的に疎いが時間的に連続的な相関を持つことがわかった。 このことは、2つのモード間の相補的な運動知識融合を導くために、基準境界を使うきっかけとなる。 さらに、一般的な時空間核融合は、クロスモーダルな特徴の相違を和らげるだけでなく、高密度かつ連続的な光流に対して融合過程を解釈できるようにする。 提案手法の優位性を検証するため, 広範囲な実験が実施されている。

関連論文リスト

• Learning segmentation from point trajectories [79.02153797465326]
  本稿では,光フローを補完する監視信号として,長期的点軌跡を用いたセグメンテーションネットワークを訓練する方法を提案する。 本手法は,モーションベースセグメンテーションにおける先行技術より優れる。
  論文  参考訳（メタデータ） (2025-01-21T18:59:53Z)
• SSRFlow: Semantic-aware Fusion with Spatial Temporal Re-embedding for Real-world Scene Flow [6.995663556921384]
  シーンフローは、2つの連続する点雲から第1フレームの3次元運動場を提供する。 本稿では,2つのフレーム間の融合とアライメントのためのDCA(Dual Cross Attentive)という新しい手法を提案する。 我々は、新しいドメイン適応損失を利用して、合成から実世界への動き推論のギャップを効果的に橋渡しする。
  論文  参考訳（メタデータ） (2024-07-31T02:28:40Z)
• Motion-aware Latent Diffusion Models for Video Frame Interpolation [51.78737270917301]
  隣接するフレーム間の動き推定は、動きのあいまいさを避ける上で重要な役割を担っている。 我々は、新しい拡散フレームワーク、動き認識潜在拡散モデル(MADiff)を提案する。 提案手法は,既存手法を著しく上回る最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T05:09:56Z)
• Bring Event into RGB and LiDAR: Hierarchical Visual-Motion Fusion for Scene Flow [17.23190429955172]
  単一RGBまたはLiDARは、挑戦的なシーンフローのメインストリームセンサーである。 既存の手法では、移動空間における相互補完的な知識を直接融合する融合戦略を採用している。 シーンフローのための新しい階層型視覚運動融合フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-12T09:15:19Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• Exploring the Common Appearance-Boundary Adaptation for Nighttime Optical Flow [17.416185015412175]
  夜間光流のための新しい外界適応フレームワークを提案する。 外観適応では、補助昼時間像と夜間像を反射率に整合した共通空間に埋め込む。 2つのリフレクタンスマップの運動は、非常によく似ており、昼から夜の領域に動きの外観知識を連続的に伝達する利点がある。
  論文  参考訳（メタデータ） (2024-01-31T07:51:52Z)
• Forward Flow for Novel View Synthesis of Dynamic Scenes [97.97012116793964]
  本稿では,前向きワープを用いた動的シーンの新たなビュー合成のためのニューラルラジアンス場(NeRF)アプローチを提案する。 本手法は、新しいビューレンダリングとモーションモデリングの両方において、既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-29T16:51:06Z)
• Video Interpolation by Event-driven Anisotropic Adjustment of Optical Flow [11.914613556594725]
  イベント駆動型光フローの異方性調整によるビデオフレームのエンドツーエンドトレーニング手法A2OFを提案する。 具体的には、2つのフレーム間の複雑な動きをモデル化できる中間光学フローのための光フロー分布マスクを生成するためにイベントを使用する。
  論文  参考訳（メタデータ） (2022-08-19T02:31:33Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。