論文の概要: FlowMamba: Learning Point Cloud Scene Flow with Global Motion Propagation
- arxiv url: http://arxiv.org/abs/2412.17366v1
- Date: Mon, 23 Dec 2024 08:03:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 15:58:00.408450
- Title: FlowMamba: Learning Point Cloud Scene Flow with Global Motion Propagation
- Title（参考訳）: FlowMamba: グローバルなモーションプロパゲーションによるポイントクラウドシーンフローの学習
- Authors: Min Lin, Gangwei Xu, Yun Wang, Xianqi Wang, Xin Yang,
- Abstract要約: 本研究では,フローマンバという,グローバルな動き伝搬を伴うシーンフロー推定ネットワークを提案する。
FlowMambaはFlyingThings3DおよびKITTIデータセットにおいてミリレベルの予測精度を実現する最初の方法である。
- 参考スコア（独自算出の注目度）: 14.293476753863272
- License:
- Abstract: Scene flow methods based on deep learning have achieved impressive performance. However, current top-performing methods still struggle with ill-posed regions, such as extensive flat regions or occlusions, due to insufficient local evidence. In this paper, we propose a novel global-aware scene flow estimation network with global motion propagation, named FlowMamba. The core idea of FlowMamba is a novel Iterative Unit based on the State Space Model (ISU), which first propagates global motion patterns and then adaptively integrates the global motion information with previously hidden states. As the irregular nature of point clouds limits the performance of ISU in global motion propagation, we propose a feature-induced ordering strategy (FIO). The FIO leverages semantic-related and motion-related features to order points into a sequence characterized by spatial continuity. Extensive experiments demonstrate the effectiveness of FlowMamba, with 21.9\% and 20.5\% EPE3D reduction from the best published results on FlyingThings3D and KITTI datasets. Specifically, our FlowMamba is the first method to achieve millimeter-level prediction accuracy in FlyingThings3D and KITTI. Furthermore, the proposed ISU can be seamlessly embedded into existing iterative networks as a plug-and-play module, improving their estimation accuracy significantly.
- Abstract（参考訳）: 深層学習に基づくシーンフロー手法は印象的な性能を達成した。
しかし、現在のトップパフォーマンス手法は、局所的な証拠が不十分なため、広い平坦な地域や閉塞といった不適切な地域といまだに苦戦している。
本稿では,FlowMamba という,グローバルな動きの伝搬を考慮したグローバルなシーンフロー推定ネットワークを提案する。
FlowMambaの中核となるアイデアは、まずグローバルな動きパターンを伝播し、次にグローバルな動き情報を以前に隠された状態と適応的に統合する、ステート・スペース・モデル(ISU)に基づく新しいイテレーション・ユニットである。
点雲の不規則性は、大域的運動伝搬におけるISUの性能を制限するため、特徴誘発順序付け戦略(FIO)を提案する。
FIOは意味に関連した特徴と動きに関連する特徴を活用して、空間的連続性によって特徴づけられる列に点を並べる。
大規模な実験では、FlyingThings3DデータセットとKITTIデータセットから21.9\%と20.5\% EPE3Dを削減したFlowMambaの有効性が示されている。
具体的には、FlowMambaはFlyingThings3DとKITTIでミリレベルの予測精度を実現するための最初の方法です。
さらに、提案したISUは、プラグイン・アンド・プレイモジュールとして既存の反復ネットワークにシームレスに埋め込み、推定精度を大幅に向上させることができる。
関連論文リスト
- MambaUIE&SR: Unraveling the Ocean's Secrets with Only 2.8 GFLOPs [1.7648680700685022]
水中画像強調(UIE)技術は,光吸収・散乱による水中画像劣化問題に対処することを目的としている。
近年、畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースの手法が広く研究されている。
MambaUIEは、グローバルおよびローカル情報を効率的に合成することができ、非常に少数のパラメータを高い精度で保持する。
論文 参考訳（メタデータ） (2024-04-22T05:12:11Z) - Sparse Global Matching for Video Frame Interpolation with Large Motion [20.49084881829404]
大きな動きはビデオフレーム補間(VFI)タスクにおいて重要な課題となる。
既存の手法は、しばしば制限された受容場によって制約されるため、大きな動きを持つシナリオを扱う際の準最適性能をもたらす。
我々はVFIのための新しいパイプラインを導入し、グローバルレベルの情報を効果的に統合し、大きな動きに関連する問題を緩和する。
論文 参考訳（メタデータ） (2024-04-10T11:06:29Z) - STARFlow: Spatial Temporal Feature Re-embedding with Attentive Learning for Real-world Scene Flow [5.476991379461233]
両ユークリッド空間における全点対に一致する大域的注意流埋め込みを提案する。
我々は、新しいドメイン適応損失を利用して、合成から実世界への動き推論のギャップを埋める。
提案手法は,実世界のLiDARスキャンデータセットにおいて特に顕著な結果を得て,各種データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-11T04:56:10Z) - Point Cloud Mamba: Point Cloud Learning via State Space Model [73.7454734756626]
我々は,マンバをベースとしたポイントクラウド法が,トランスフォーマや多層パーセプトロン(MLP)に基づく従来手法よりも優れていることを示す。
特に,マルチ層パーセプトロン(MLP)を用いて,マンバをベースとした点雲法が従来手法より優れていることを示す。
Point Cloud Mambaは、最先端(SOTA)のポイントベースメソッドであるPointNeXtを超え、ScanNN、ModelNet40、ShapeNetPart、S3DISデータセット上での新たなSOTAパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-03-01T18:59:03Z) - GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。
本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。
動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
論文 参考訳（メタデータ） (2023-09-28T07:46:01Z) - GMSF: Global Matching Scene Flow [17.077134204089536]
我々は点雲からのシーンフロー推定の課題に取り組む。
ソースとターゲットポイントクラウドが与えられた場合、目的はソースポイントクラウドの各ポイントからターゲットへの変換を推定することである。
そこで本研究では,この問題に対処するため,より単純なワンショット・ワンショット・グローバルマッチングを提案する。
論文 参考訳（メタデータ） (2023-05-27T10:04:21Z) - PointFlowHop: Green and Interpretable Scene Flow Estimation from
Consecutive Point Clouds [49.7285297470392]
本研究では,PointFlowHopと呼ばれる3次元シーンフローの効率的な推定法を提案する。
ポイントフローホップは2つの連続する点雲を取り、第1点雲の各点の3次元フローベクトルを決定する。
シーンフロー推定タスクを,エゴモーション補償,オブジェクトアソシエーション,オブジェクトワイドモーション推定など,一連のサブタスクに分解する。
論文 参考訳（メタデータ） (2023-02-27T23:06:01Z) - StreamYOLO: Real-time Object Detection for Streaming Perception [84.2559631820007]
将来を予測する能力を備えたモデルを提供し、ストリーミング知覚の結果を大幅に改善する。
本稿では,複数の速度を駆動するシーンについて考察し,VasAP(Velocity-Awared streaming AP)を提案する。
本手法は,Argoverse-HDデータセットの最先端性能を実現し,SAPとVsAPをそれぞれ4.7%,VsAPを8.2%改善する。
論文 参考訳（メタデータ） (2022-07-21T12:03:02Z) - Bi-PointFlowNet: Bidirectional Learning for Point Cloud Based Scene Flow
Estimation [3.1869033681682124]
本稿では,双方向フロー埋め込み層を用いた新しいシーンフロー推定アーキテクチャを提案する。
提案する双方向層は,前方方向と後方方向の両方で特徴を学習し,推定性能を向上させる。
さらに、階層的特徴抽出とワープにより性能が向上し、計算オーバーヘッドが減少する。
論文 参考訳（メタデータ） (2022-07-15T15:14:53Z) - GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。
機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。
我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文 参考訳（メタデータ） (2021-11-26T18:59:56Z) - SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation [71.2856098776959]
点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。
本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。
学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
論文 参考訳（メタデータ） (2021-05-10T15:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。