論文の概要: SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation

• arxiv url: http://arxiv.org/abs/2105.04447v1
• Date: Mon, 10 May 2021 15:16:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 15:20:25.747097
• Title: SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation
• Title（参考訳）: SCTN: シーンフロー推定のためのスパース畳み込み変圧器ネットワーク
• Authors: Bing Li, Cheng Zheng, Silvio Giancola, Bernard Ghanem
• Abstract要約: 点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。 本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。 学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
• 参考スコア（独自算出の注目度）: 71.2856098776959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel scene flow estimation approach to capture and infer 3D motions from point clouds. Estimating 3D motions for point clouds is challenging, since a point cloud is unordered and its density is significantly non-uniform. Such unstructured data poses difficulties in matching corresponding points between point clouds, leading to inaccurate flow estimation. We propose a novel architecture named Sparse Convolution-Transformer Network (SCTN) that equips the sparse convolution with the transformer. Specifically, by leveraging the sparse convolution, SCTN transfers irregular point cloud into locally consistent flow features for estimating continuous and consistent motions within an object/local object part. We further propose to explicitly learn point relations using a point transformer module, different from exiting methods. We show that the learned relation-based contextual information is rich and helpful for matching corresponding points, benefiting scene flow estimation. In addition, a novel loss function is proposed to adaptively encourage flow consistency according to feature similarity. Extensive experiments demonstrate that our proposed approach achieves a new state of the art in scene flow estimation. Our approach achieves an error of 0.038 and 0.037 (EPE3D) on FlyingThings3D and KITTI Scene Flow respectively, which significantly outperforms previous methods by large margins.
• Abstract（参考訳）: 点雲から3次元運動を捕捉・推定するための新しいシーンフロー推定手法を提案する。 点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。 このような非構造化データは、ポイントクラウド間の対応するポイントのマッチングに困難をもたらし、不正確なフロー推定につながる。 本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。 具体的には、スパース畳み込みを利用して、SCTNは不規則点雲を局所的に一貫したフロー特徴に変換し、オブジェクト/局所オブジェクト部分内の連続かつ一貫した動きを推定する。 さらに,点変換モジュールを用いて点関係を明示的に学習する手法を提案する。 学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。 さらに,特徴の類似性に応じて流れの整合性を適応的に促進する新しい損失関数を提案する。 大規模な実験により,提案手法がシーンフロー推定における新たな手法を実現することを示す。 提案手法は,FlyingThings3DとKITTI Scene Flowでそれぞれ0.038と0.037(EPE3D)の誤差を実現する。

関連論文リスト

• Quadric Representations for LiDAR Odometry, Mapping and Localization [93.24140840537912]
  現在のLiDARオードメトリ、マッピング、ローカライズ手法は、3Dシーンのポイントワイズ表現を利用する。 3次元オブジェクトのよりコンパクトな表現である2次元曲面を用いたシーン記述法を提案する。 提案手法は低レイテンシとメモリの有効性を維持しつつ、競争力があり、しかも精度も優れている。
  論文  参考訳（メタデータ） (2023-04-27T13:52:01Z)
• Exploiting Implicit Rigidity Constraints via Weight-Sharing Aggregation for Scene Flow Estimation from Point Clouds [21.531037702059933]
  本稿では,特徴量とシーンフローのアップサンプリングのための新しいウェイトシェアリングアグリゲーション(WSA)手法を提案する。 WSAは推定されたポーズやセグメンテーションされたオブジェクトに依存しておらず、構造歪みを避けるために暗黙的に剛性制約を強制することができる。 我々は、PointPWC-Netを修正し、提案したWSAおよび変形度モジュールを拡張されたPointPWC-Netに統合し、WSAFlowNetと呼ばれるエンドツーエンドのシーンフロー推定ネットワークを導出する。
  論文  参考訳（メタデータ） (2023-03-04T16:55:57Z)
• PointFlowHop: Green and Interpretable Scene Flow Estimation from Consecutive Point Clouds [49.7285297470392]
  本研究では,PointFlowHopと呼ばれる3次元シーンフローの効率的な推定法を提案する。 ポイントフローホップは2つの連続する点雲を取り、第1点雲の各点の3次元フローベクトルを決定する。 シーンフロー推定タスクを,エゴモーション補償,オブジェクトアソシエーション,オブジェクトワイドモーション推定など,一連のサブタスクに分解する。
  論文  参考訳（メタデータ） (2023-02-27T23:06:01Z)
• SCOOP: Self-Supervised Correspondence and Optimization-Based Scene Flow [25.577386156273256]
  シーンフロー推定は、連続した観察からシーンの3次元運動を見つけることを目的として、コンピュータビジョンにおける長年の課題である。 そこで本研究では,少量のデータから学習可能なシーンフロー推定手法であるSCOOPについて紹介する。
  論文  参考訳（メタデータ） (2022-11-25T10:52:02Z)
• What Matters for 3D Scene Flow Network [44.02710380584977]
  点雲からの3次元シーンフロー推定はコンピュータビジョンにおける低レベルな3次元モーション知覚タスクである。 そこで本研究では,初期シーンフロー推定時の逆方向の信頼性検証が可能な,新しい全対全フロー埋め込み層を提案する。 提案したモデルは,FlyingThings3Dデータセットで少なくとも38.2%,KITTI Scene Flowデータセットで24.7%,EPE3Dメトリックで,既存のすべてのメソッドを上回ります。
  論文  参考訳（メタデータ） (2022-07-19T09:27:05Z)
• RCP: Recurrent Closest Point for Scene Flow Estimation on 3D Point Clouds [44.034836961967144]
  シーンフローや点雲の登録を含む3次元運動推定が注目されている。 最近の手法では、正確な3次元フローを推定するためのコストボリュームを構築するために、ディープニューラルネットワークを使用している。 問題を2つのインターレースステージに分解し、第1段階では3次元フローをポイントワイズに最適化し、第2段階ではリカレントネットワークでグローバルに正規化する。
  論文  参考訳（メタデータ） (2022-05-23T04:04:30Z)
• IDEA-Net: Dynamic 3D Point Cloud Interpolation via Deep Embedding Alignment [58.8330387551499]
  我々は、点方向軌跡(すなわち滑らかな曲線)の推定として問題を定式化する。 本稿では,学習した時間的一貫性の助けを借りて問題を解消する,エンドツーエンドのディープラーニングフレームワークであるIDEA-Netを提案する。 各種点群における本手法の有効性を実証し, 定量的かつ視覚的に, 最先端の手法に対する大幅な改善を観察する。
  論文  参考訳（メタデータ） (2022-03-22T10:14:08Z)
• PU-Flow: a Point Cloud Upsampling Networkwith Normalizing Flows [58.96306192736593]
  本稿では,正規化フローを組み込んだPU-Flowについて述べる。 具体的には、重みが局所的な幾何学的文脈から適応的に学習される潜在空間において、アップサンプリング過程を点として定式化する。 提案手法は, 再現性, 近接精度, 計算効率の観点から, 最先端の深層学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-13T07:45:48Z)
• Do not trust the neighbors! Adversarial Metric Learning for Self-Supervised Scene Flow Estimation [0.0]
  シーンフローは動的3次元シーンの個々の点に3次元運動ベクトルを推定するタスクである。 本稿では,3次元シーンフローベンチマークと,トレーニングフローモデルのための新しい自己教師型セットアップを提案する。 我々は,移動コヒーレンスを保ち,多くの自監督ベースラインが把握できない局所的なジオメトリーを維持できることを発見した。
  論文  参考訳（メタデータ） (2020-11-01T17:41:32Z)
• Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation and Spatial Supervision [68.35777836993212]
  我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。 点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
  論文  参考訳（メタデータ） (2020-06-20T03:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。