論文の概要: Bring Event into RGB and LiDAR: Hierarchical Visual-Motion Fusion for
Scene Flow
- arxiv url: http://arxiv.org/abs/2403.07432v1
- Date: Tue, 12 Mar 2024 09:15:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 22:24:55.497259
- Title: Bring Event into RGB and LiDAR: Hierarchical Visual-Motion Fusion for
Scene Flow
- Title（参考訳）: RGBとLiDARにイベントをもたらす - シーンフローのための階層型視覚運動融合
- Authors: Hanyu Zhou, Yi Chang, Zhiwei Shi, Luxin Yan
- Abstract要約: 単一RGBまたはLiDARは、挑戦的なシーンフローのメインストリームセンサーである。
既存の手法では、移動空間における相互補完的な知識を直接融合する融合戦略を採用している。
シーンフローのための新しい階層型視覚運動融合フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 17.23190429955172
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single RGB or LiDAR is the mainstream sensor for the challenging scene flow,
which relies heavily on visual features to match motion features. Compared with
single modality, existing methods adopt a fusion strategy to directly fuse the
cross-modal complementary knowledge in motion space. However, these direct
fusion methods may suffer the modality gap due to the visual intrinsic
heterogeneous nature between RGB and LiDAR, thus deteriorating motion features.
We discover that event has the homogeneous nature with RGB and LiDAR in both
visual and motion spaces. In this work, we bring the event as a bridge between
RGB and LiDAR, and propose a novel hierarchical visual-motion fusion framework
for scene flow, which explores a homogeneous space to fuse the cross-modal
complementary knowledge for physical interpretation. In visual fusion, we
discover that event has a complementarity (relative v.s. absolute) in luminance
space with RGB for high dynamic imaging, and has a complementarity (local
boundary v.s. global shape) in scene structure space with LiDAR for structure
integrity. In motion fusion, we figure out that RGB, event and LiDAR are
complementary (spatial-dense, temporal-dense v.s. spatiotemporal-sparse) to
each other in correlation space, which motivates us to fuse their motion
correlations for motion continuity. The proposed hierarchical fusion can
explicitly fuse the multimodal knowledge to progressively improve scene flow
from visual space to motion space. Extensive experiments have been performed to
verify the superiority of the proposed method.
- Abstract（参考訳）: 単一のRGBまたはLiDARは、視覚的特徴に大きく依存する、困難なシーンフローのメインストリームセンサーである。
単一モダリティと比較して、既存の手法では、運動空間における相互の相補的知識を直接融合する融合戦略を採用している。
しかし、これらの直接融合法は、RGBとLiDARの視覚内在的不均一性に起因するモダリティギャップに悩まされ、運動特性が劣化する可能性がある。
視覚空間と運動空間の両方において,RGB と LiDAR が同種であることがわかった。
本研究では,このイベントをRGBとLiDARの橋渡しとして,シーンフローのための新しい階層型視覚運動融合フレームワークを提案する。
視覚融合において、事象は高ダイナミックイメージングのためにRGBで輝度空間に相補性(相対対絶対性)を持ち、構造整合性のためにLiDARでシーン構造空間に相補性(局所境界対大域形状)を持つことが分かる。
運動融合において, rgb, event, lidarは相関空間において相補的(空間的・時空間的・時空間的スパース)であり, 運動連続性に対する運動相関を融合させる動機となる。
提案する階層的融合はマルチモーダル知識を明示的に融合し,視覚空間から動き空間へのシーンフローを漸進的に改善する。
提案手法の優位性を検証するため, 大規模な実験を行った。
関連論文リスト
- RPEFlow: Multimodal Fusion of RGB-PointCloud-Event for Joint Optical
Flow and Scene Flow Estimation [43.358140897849616]
本稿では,RGB画像,ポイント雲,イベントを多段階多モード融合モデルであるRPEFlowに組み込む。
合成データと実データの両方の実験により、我々のモデルは既存の最先端技術よりも広いマージンで優れています。
論文 参考訳（メタデータ） (2023-09-26T17:23:55Z) - Attentive Multimodal Fusion for Optical and Scene Flow [24.08052492109655]
既存の方法は通常、RGB画像のみに依存するか、後段のモダリティを融合させる。
本稿では,センサモード間の早期情報融合を可能にするFusionRAFTという新しいディープニューラルネットワーク手法を提案する。
提案手法は,RGB画像に影響を及ぼすノイズや低照度条件の存在下での堅牢性の向上を示す。
論文 参考訳（メタデータ） (2023-07-28T04:36:07Z) - Revisiting Event-based Video Frame Interpolation [49.27404719898305]
ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。
イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。
イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
論文 参考訳（メタデータ） (2023-07-24T06:51:07Z) - Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。
近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。
本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
論文 参考訳（メタデータ） (2023-06-17T14:28:08Z) - Decomposed Cross-modal Distillation for RGB-based Temporal Action
Detection [23.48709176879878]
時間的アクション検出は、ビデオ内の時間間隔とアクションインスタンスのクラスを予測することを目的としている。
既存の2ストリームモデルでは、計算コストの高い光フローに依存するため、推論速度が遅い。
本稿では,移動モーダルの知識を伝達することで,RGBベースの強力な検出器を構築するためのクロスモーダル蒸留フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-30T10:47:26Z) - Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。
本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。
一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
論文 参考訳（メタデータ） (2022-10-09T13:50:12Z) - Decoupling and Recoupling Spatiotemporal Representation for RGB-D-based
Motion Recognition [62.46544616232238]
従来の動作認識手法は、密結合した多時間表現によって有望な性能を実現している。
本稿では,RGB-D に基づく動作認識において引き起こされた表現を分離し,再分離することを提案する。
論文 参考訳（メタデータ） (2021-12-16T18:59:47Z) - End-to-end Multi-modal Video Temporal Grounding [105.36814858748285]
ビデオから補完情報を抽出するマルチモーダルフレームワークを提案する。
我々は、外見にRGB画像、運動に光学フロー、画像構造に深度マップを採用する。
本稿では、Charades-STAおよびActivityNet Captionsデータセットの実験を行い、提案手法が最先端のアプローチに対して好適に動作することを示す。
論文 参考訳（メタデータ） (2021-07-12T17:58:10Z) - Trear: Transformer-based RGB-D Egocentric Action Recognition [38.20137500372927]
本稿では,textbfTransformer-based RGB-D textbgocentric textbfaction textbfrecognition framework, Trearを提案する。
フレーム間アテンションエンコーダと相互アテンショナルフュージョンブロックの2つのモジュールで構成されている。
論文 参考訳（メタデータ） (2021-01-05T19:59:30Z) - Learning Selective Mutual Attention and Contrast for RGB-D Saliency
Detection [145.4919781325014]
クロスモーダル情報を効果的に融合する方法は、RGB-Dの有能な物体検出の鍵となる問題である。
多くのモデルは特徴融合戦略を用いるが、低次点対点融合法によって制限されている。
本研究では,異なるモダリティから注目とコンテキストを融合させることにより,新たな相互注意モデルを提案する。
論文 参考訳（メタデータ） (2020-10-12T08:50:10Z) - Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking [85.333260415532]
我々はRGBと熱(T)の両モードの融合重量マップを推定する新しい後期融合法を開発した。
外観キューが信頼できない場合には、動作キューを考慮に入れ、トラッカーを堅牢にする。
最近の3つのRGB-T追跡データセットの多くの結果から、提案したトラッカーは他の最先端のアルゴリズムよりも大幅に性能が向上していることが示された。
論文 参考訳（メタデータ） (2020-07-04T08:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。