論文の概要: GMA3D: Local-Global Attention Learning to Estimate Occluded Motions of Scene Flow

• arxiv url: http://arxiv.org/abs/2210.03296v2
• Date: Sun, 23 Jul 2023 04:28:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 00:52:41.238485
• Title: GMA3D: Local-Global Attention Learning to Estimate Occluded Motions of Scene Flow
• Title（参考訳）: GMA3D: シーンフローの蓄積した動きを推定するローカル・グローバル・アテンション学習
• Authors: Zhiyang Lu, Ming Cheng
• Abstract要約: 局所的および大域的非閉塞点の運動情報から閉塞点の運動情報を推定するトランスフォーマフレームワークに基づくGMA3Dモジュールを提案する。 実験により,GMA3Dはシーンフロー,特に実シーンにおける閉塞問題を解くことができることがわかった。
• 参考スコア（独自算出の注目度）: 3.2738068278607426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene flow represents the motion information of each point in the 3D point clouds. It is a vital downstream method applied to many tasks, such as motion segmentation and object tracking. However, there are always occlusion points between two consecutive point clouds, whether from the sparsity data sampling or real-world occlusion. In this paper, we focus on addressing occlusion issues in scene flow by the semantic self-similarity and motion consistency of the moving objects. We propose a GMA3D module based on the transformer framework, which utilizes local and global semantic similarity to infer the motion information of occluded points from the motion information of local and global non-occluded points respectively, and then uses an offset aggregator to aggregate them. Our module is the first to apply the transformer-based architecture to gauge the scene flow occlusion problem on point clouds. Experiments show that our GMA3D can solve the occlusion problem in the scene flow, especially in the real scene. We evaluated the proposed method on the occluded version of point cloud datasets and get state-of-the-art results on the real scene KITTI dataset. To testify that GMA3D is still beneficial to non-occluded scene flow, we also conducted experiments on non-occluded version datasets and achieved promising performance on FlyThings3D and KITTI. The code is available at https://anonymous.4open.science/r/GMA3D-E100.
• Abstract（参考訳）: シーンフローは、3dポイント雲内の各ポイントの動き情報を表す。 モーションセグメンテーションやオブジェクトトラッキングなど、多くのタスクに適用される、重要な下流手法である。 しかしながら、2つの連続した点雲の間には常に閉塞点があり、スパーシティデータサンプリングや実世界の閉塞からである。 本稿では,移動物体のセマンティックな自己相似性と動きの整合性によるシーンフローのオクルージョン問題に焦点をあてる。 本稿では, 局所的および大域的セマンティックな類似性を利用して, 局所的および大域的非包含点の運動情報から包含点の運動情報を推定し, オフセットアグリゲータを用いてそれらを集約するGMA3Dモジュールを提案する。 我々のモジュールは、最初にトランスフォーマーベースのアーキテクチャを適用して、点雲上のシーンフロー閉塞問題を測定する。 実験により,GMA3Dはシーンフロー,特に実シーンにおける閉塞問題を解くことができることがわかった。 提案手法は,ポイントクラウドデータセットのオクルードバージョンで評価し,実シーンkittiデータセットで最新の結果を得た。 また,GMA3Dが非閉塞シーンフローに対してまだ有効であることを示すために,非閉塞バージョンデータセットの実験を行い,FlyThings3DとKITTIで有望な性能を達成した。 コードはhttps://anonymous.4open.science/r/gma3d-e100で入手できる。

関連論文リスト

• Aligning Bird-Eye View Representation of Point Cloud Sequences using Scene Flow [0.0]
  低解像度の点雲は、その空間性のため、物体検出法では困難である。 本研究では,単一フレーム検出器がシーンフローを計算してBird-Eye View表現を修正できるプラグインモジュールを開発した。
  論文  参考訳（メタデータ） (2023-05-04T15:16:21Z)
• Unsupervised Learning of 3D Scene Flow with 3D Odometry Assistance [20.735976558587588]
  シーンフロー推定は、自律走行場、アクティビティ認識、バーチャルリアリティーフィールドなどの様々なアプリケーションで使われている。 実世界のデータに対して,現場の流れを真実とアノテートすることは困難である。 本稿では,映像の流れの教師なし学習を支援するためにオドメトリ情報を使用し,実世界のLiDARデータを用いてネットワークをトレーニングすることを提案する。
  論文  参考訳（メタデータ） (2022-09-11T21:53:43Z)
• AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
  ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。 我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T16:54:38Z)
• What Matters for 3D Scene Flow Network [44.02710380584977]
  点雲からの3次元シーンフロー推定はコンピュータビジョンにおける低レベルな3次元モーション知覚タスクである。 そこで本研究では,初期シーンフロー推定時の逆方向の信頼性検証が可能な,新しい全対全フロー埋め込み層を提案する。 提案したモデルは,FlyingThings3Dデータセットで少なくとも38.2%,KITTI Scene Flowデータセットで24.7%,EPE3Dメトリックで,既存のすべてのメソッドを上回ります。
  論文  参考訳（メタデータ） (2022-07-19T09:27:05Z)
• IDEA-Net: Dynamic 3D Point Cloud Interpolation via Deep Embedding Alignment [58.8330387551499]
  我々は、点方向軌跡(すなわち滑らかな曲線)の推定として問題を定式化する。 本稿では,学習した時間的一貫性の助けを借りて問題を解消する,エンドツーエンドのディープラーニングフレームワークであるIDEA-Netを提案する。 各種点群における本手法の有効性を実証し, 定量的かつ視覚的に, 最先端の手法に対する大幅な改善を観察する。
  論文  参考訳（メタデータ） (2022-03-22T10:14:08Z)
• SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation [71.2856098776959]
  点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。 本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。 学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-10T15:16:14Z)
• Weakly Supervised Learning of Rigid 3D Scene Flow [81.37165332656612]
  本研究では,剛体体として動くエージェント群によって説明できる3次元シーンを多用したデータ駆動シーンフロー推定アルゴリズムを提案する。 4種類の自律運転データセットにおいて,提案手法の有効性と一般化能力を示す。
  論文  参考訳（メタデータ） (2021-02-17T18:58:02Z)
• Occlusion Guided Scene Flow Estimation on 3D Point Clouds [4.518012967046983]
  3次元シーンフロー推定は、環境に与えられた深度や範囲のセンサーを知覚する上で欠かせないツールである。 本稿では,フレーム間のフローとオクルージョンの両方の学習を密に結合する,OGSF-Netと呼ばれる新しいシーンフローアーキテクチャを提案する。 これらの共生が組み合わさって宇宙の流れをより正確に予測できる。
  論文  参考訳（メタデータ） (2020-11-30T15:22:03Z)
• Scene Flow from Point Clouds with or without Learning [47.03163552693887]
  シーンフロー(Scene flow)は、シーンの3次元運動場である。 現在の学習ベースのアプローチは、ポイントクラウドから直接シーンフローを推定することを目指している。 本稿では,点雲からシーンフローを復元する,シンプルで解釈可能な目的関数を提案する。
  論文  参考訳（メタデータ） (2020-10-31T17:24:48Z)
• Associate-3Ddet: Perceptual-to-Conceptual Association for 3D Point Cloud Object Detection [64.2159881697615]
  3Dポイント雲からの物体検出は依然として難しい課題だが、最近の研究ではディープラーニング技術によって封筒を推し進めている。 本稿では,特徴表現の堅牢性を高めるために,ドメイン適応のようなアプローチを提案する。 我々の単純で効果的なアプローチは、3Dポイントクラウドオブジェクト検出の性能を根本的に向上させ、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-06-08T05:15:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。