論文の概要: STARFlow: Spatial Temporal Feature Re-embedding with Attentive Learning
for Real-world Scene Flow
- arxiv url: http://arxiv.org/abs/2403.07032v1
- Date: Mon, 11 Mar 2024 04:56:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 00:15:10.201089
- Title: STARFlow: Spatial Temporal Feature Re-embedding with Attentive Learning
for Real-world Scene Flow
- Title(参考訳): STARFlow:現実世界のシーンフローに対する注意学習による時空間的特徴の再埋め込み
- Authors: Zhiyang Lu and Qinghan Chen and Ming Cheng
- Abstract要約: 両ユークリッド空間における全点対に一致する大域的注意流埋め込みを提案する。
我々は、新しいドメイン適応損失を利用して、合成から実世界への動き推論のギャップを埋める。
提案手法は,実世界のLiDARスキャンデータセットにおいて特に顕著な結果を得て,各種データセットの最先端性能を実現する。
- 参考スコア(独自算出の注目度): 6.155589434533128
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scene flow prediction is a crucial underlying task in understanding dynamic
scenes as it offers fundamental motion information. However, contemporary scene
flow methods encounter three major challenges. Firstly, flow estimation solely
based on local receptive fields lacks long-dependency matching of point pairs.
To address this issue, we propose global attentive flow embedding to match
all-to-all point pairs in both feature space and Euclidean space, providing
global initialization before local refinement. Secondly, there are deformations
existing in non-rigid objects after warping, which leads to variations in the
spatiotemporal relation between the consecutive frames. For a more precise
estimation of residual flow, a spatial temporal feature re-embedding module is
devised to acquire the sequence features after deformation. Furthermore,
previous methods perform poor generalization due to the significant domain gap
between the synthesized and LiDAR-scanned datasets. We leverage novel domain
adaptive losses to effectively bridge the gap of motion inference from
synthetic to real-world. Experiments demonstrate that our approach achieves
state-of-the-art performance across various datasets, with particularly
outstanding results on real-world LiDAR-scanned datasets. Our code is available
at https://github.com/O-VIGIA/StarFlow.
- Abstract(参考訳): シーンフロー予測は、基本的な動作情報を提供するため、動的シーンを理解する上で重要なタスクである。
しかし、現代のシーンフロー手法は3つの大きな課題に直面する。
第一に、局所受容場のみに基づくフロー推定は、点対の長依存性マッチングを欠いている。
この問題に対処するため,我々は,特徴空間とユークリッド空間の両方のすべての点対に一致する大域的注意フロー埋め込みを提案し,局所的な細分化の前に大域的初期化を提供する。
第二に、反りの後に非剛体物体に存在する変形があり、連続するフレーム間の時空間的関係のばらつきをもたらす。
残留流れをより正確に推定するために、変形後のシーケンス特徴を取得するために時空間特徴再埋め込みモジュールを考案した。
さらに,従来手法では,合成データとlidarスキャンデータとの領域ギャップが大きいため,一般化が不十分であった。
我々は,合成から実世界への動き推論のギャップを効果的に橋渡しするために,新たな領域適応損失を利用する。
実験により, 実世界のLiDARスキャンデータセットにおいて, 特に顕著な結果が得られた。
私たちのコードはhttps://github.com/o-vigia/starflowで利用可能です。
関連論文リスト
- Space and Time Continuous Physics Simulation From Partial Observations [0.0]
大規模機械学習に基づくデータ駆動方式は、より直接的かつ効率的に長距離依存関係を統合することにより、高い適応性を約束する。
我々は流体力学に焦点をあて、正規格子や不規則格子の形で計算と予測の固定的サポートに基づく文献の大部分の欠点に対処する。
本研究では,空間的・時間的領域の連続的な領域において,スパース観測を訓練しながら予測を行う新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-17T13:24:04Z) - Low Latency Instance Segmentation by Continuous Clustering for Rotating
LiDAR Sensors [4.73194777046253]
LiDARポイントクラウドの低レイテンシインスタンスセグメンテーションは、現実世界のアプリケーションでは不可欠である。
我々は、インスタンス分割された点雲を得るために障害点を連続的にクラスタリングする。
スキャン開始点と終了点の間に問題のある不連続性は見られなかった。
論文 参考訳(メタデータ) (2023-11-23T12:42:52Z) - Multi-Body Neural Scene Flow [37.31530794244607]
本研究では, 剛体のSE(3)$パラメータを制約する, 煩雑で不安定な戦略を使わずに, 多体剛性を実現することができることを示す。
これは、剛体に対する流れ予測における等尺性を促進するために、シーンフロー最適化を規則化することによって達成される。
実世界のデータセットに関する広範な実験を行い、我々の手法が3次元シーンフローにおける最先端の4次元軌道予測と長期的ポイントワイドの4次元軌道予測より優れていることを実証した。
論文 参考訳(メタデータ) (2023-10-16T11:37:53Z) - Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。
蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。
特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文 参考訳(メタデータ) (2023-03-30T03:22:52Z) - SCOOP: Self-Supervised Correspondence and Optimization-Based Scene Flow [25.577386156273256]
シーンフロー推定は、連続した観察からシーンの3次元運動を見つけることを目的として、コンピュータビジョンにおける長年の課題である。
そこで本研究では,少量のデータから学習可能なシーンフロー推定手法であるSCOOPについて紹介する。
論文 参考訳(メタデータ) (2022-11-25T10:52:02Z) - Domain-incremental Cardiac Image Segmentation with Style-oriented Replay
and Domain-sensitive Feature Whitening [67.6394526631557]
M&Mは、各受信データセットから漸進的に学習し、時間が経つにつれて改善された機能で漸進的に更新する必要がある。
医学的シナリオでは、データのプライバシのため、過去のデータへのアクセスや保存が一般的に許可されないため、これは特に困難である。
本稿では,まず過去のドメイン入力を復元し,モデル最適化中に定期的に再生する新しいドメイン増分学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-09T13:07:36Z) - SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation [71.2856098776959]
点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。
本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。
学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
論文 参考訳(メタデータ) (2021-05-10T15:16:14Z) - Learning to Estimate Hidden Motions with Global Motion Aggregation [71.12650817490318]
閉塞は、局所的な証拠に依存する光学フローアルゴリズムに重大な課題をもたらす。
最初の画像でピクセル間の長距離依存性を見つけるために,グローバルモーションアグリゲーションモジュールを導入する。
遮蔽領域における光流量推定が非遮蔽領域における性能を損なうことなく大幅に改善できることを実証した。
論文 参考訳(メタデータ) (2021-04-06T10:32:03Z) - Scalable Scene Flow from Point Clouds in the Real World [30.437100097997245]
オープンデータセットに基づくシーンフローの大規模ベンチマークを新たに導入します。
実際のLiDARデータの量に基づいて、これまでの作業がバウンドされているかを示す。
フルポイントクラウド上でリアルタイム推論を提供するモデルアーキテクチャFastFlow3Dを紹介します。
論文 参考訳(メタデータ) (2021-03-01T20:56:05Z) - ePointDA: An End-to-End Simulation-to-Real Domain Adaptation Framework
for LiDAR Point Cloud Segmentation [111.56730703473411]
LiDARデータ上でディープニューラルネットワーク(DNN)をトレーニングするには、大規模なポイントワイドアノテーションが必要である。
シミュレーション・トゥ・リアル・ドメイン適応(SRDA)は、DNNを無制限の合成データと自動生成されたラベルで訓練する。
ePointDAは、自己教師付きドロップアウトノイズレンダリング、統計不変および空間適応型特徴アライメント、転送可能なセグメンテーション学習の3つのモジュールで構成されている。
論文 参考訳(メタデータ) (2020-09-07T23:46:08Z) - A Spatial-Temporal Attentive Network with Spatial Continuity for
Trajectory Prediction [74.00750936752418]
空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。
まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。
第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
論文 参考訳(メタデータ) (2020-03-13T04:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。