論文の概要: PVO: Panoptic Visual Odometry

• arxiv url: http://arxiv.org/abs/2207.01610v2
• Date: Sun, 26 Mar 2023 17:47:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 03:14:50.961594
• Title: PVO: Panoptic Visual Odometry
• Title（参考訳）: PVO:Panoptic Visual Odometry
• Authors: Weicai Ye, Xinyue Lan, Shuo Chen, Yuhang Ming, Xingyuan Yu, Hujun Bao, Zhaopeng Cui, Guofeng Zhang
• Abstract要約: PVO(Panoptic visual odometry framework)は、シーンの動き、幾何学、およびパノプティクスのセグメンテーション情報をより包括的にモデル化するための、新しいパノプティカル・オドメトリー・フレームワークである。 我々のPVOは,2つのタスクを相互に有益にするために,統合された視点で視覚的オドメトリー(VO)とビデオ汎視的セグメンテーション(VPS)をモデル化する。
• 参考スコア（独自算出の注目度）: 31.98591044171081
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present PVO, a novel panoptic visual odometry framework to achieve more comprehensive modeling of the scene motion, geometry, and panoptic segmentation information. Our PVO models visual odometry (VO) and video panoptic segmentation (VPS) in a unified view, which makes the two tasks mutually beneficial. Specifically, we introduce a panoptic update module into the VO Module with the guidance of image panoptic segmentation. This Panoptic-Enhanced VO Module can alleviate the impact of dynamic objects in the camera pose estimation with a panoptic-aware dynamic mask. On the other hand, the VO-Enhanced VPS Module also improves the segmentation accuracy by fusing the panoptic segmentation result of the current frame on the fly to the adjacent frames, using geometric information such as camera pose, depth, and optical flow obtained from the VO Module. These two modules contribute to each other through recurrent iterative optimization. Extensive experiments demonstrate that PVO outperforms state-of-the-art methods in both visual odometry and video panoptic segmentation tasks.
• Abstract（参考訳）: 本稿では,シーンの動き,形状,パンオプティカルセグメンテーション情報をより包括的にモデル化するための,新しいパンオプティカルビジュアルオドメトリフレームワークpvoを提案する。 私たちのpvoは視覚オドメトリ(vo)とビデオパノプティックセグメンテーション(vps)を統一ビューでモデル化し,この2つのタスクが相互に有益となるようにした。 具体的には、イメージpanopticセグメンテーションのガイダンスにより、voモジュールにpanoptic updateモジュールを導入する。 このPanoptic-Enhanced VO Moduleは、カメラ内の動的物体の影響を、パン光学対応のダイナミックマスクで推定することができる。 一方、VO強化VPSモジュールは、VOモジュールから得られるカメラポーズ、深さ、光学フローなどの幾何学的情報を用いて、フライ上の電流フレームのパノプティックセグメンテーション結果を隣接フレームに融合することにより、セグメンテーション精度も向上する。 これら2つのモジュールは繰り返し反復最適化を通じて相互に寄与する。 広汎な実験により、PVOは視覚計測とビデオパノプティクスのセグメンテーションの両方において最先端の手法より優れていることが示された。

関連論文リスト

• DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild [85.03973683867797]
  本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。 提案手法は,複雑な動的課題シーンにおいても,カメラポーズ推定による最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-20T13:01:16Z)
• Out of the Room: Generalizing Event-Based Dynamic Motion Segmentation for Complex Scenes [10.936350433952668]
  モーションセグメンテーション(Motion segmentation)とも呼ばれる動的シーン部品の迅速かつ信頼性の高い識別は、モバイルセンサーにとって重要な課題である。 イベントカメラはこれらの制限を克服する可能性があるが、それに対応する方法は小規模の屋内環境でのみ実証されている。 本研究は,複雑な大規模屋外環境にも展開可能な,クラスに依存しない動作セグメンテーションのイベントベース手法を提案する。
  論文  参考訳（メタデータ） (2024-03-07T14:59:34Z)
• DVIS++: Improved Decoupled Framework for Universal Video Segmentation [30.703276476607545]
  我々は,最初のオープン語彙ユニバーサルビデオセグメンテーションフレームワークであるOV-DVIS++を提案する。 CLIPとDVIS++を統合することで、最初のオープン語彙のユニバーサルビデオセグメンテーションフレームワークであるOV-DVIS++を提案する。
  論文  参考訳（メタデータ） (2023-12-20T03:01:33Z)
• Curved Diffusion: A Generative Model With Optical Geometry Control [56.24220665691974]
  最終シーンの外観に対する異なる光学系の影響は、しばしば見過ごされる。 本研究では,画像レンダリングに使用される特定のレンズとテキスト画像拡散モデルを密接に統合するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-29T13:06:48Z)
• A Spatial-Temporal Dual-Mode Mixed Flow Network for Panoramic Video Salient Object Detection [5.207048071888257]
  本研究では,パノラマ映像の空間的流れとそれに対応する光学的流れを利用する時空間二重モード混合流れネットワーク(STDMMF-Net)を提案する。 多くの主観的および客観的な実験結果から,提案手法が最先端(SOTA)法よりも優れた検出精度を示すことが確認された。 提案手法の総合性能は, モデル推論, テスト時間, 複雑性, 一般化性能に要求されるメモリの点で優れている。
  論文  参考訳（メタデータ） (2023-10-13T11:25:41Z)
• Time-Space Transformers for Video Panoptic Segmentation [3.2489082010225494]
  画素レベルのセマンティックスとクリップレベルのインスタンスセグメンテーションを同時に予測する手法を提案する。 我々のネットワークはVPS-Transformerと呼ばれ、単一フレームのパノプティクスセグメンテーションのための畳み込みアーキテクチャと、純粋なTransformerブロックのインスタンス化に基づくビデオモジュールを組み合わせる。
  論文  参考訳（メタデータ） (2022-10-07T13:30:11Z)
• DytanVO: Joint Refinement of Visual Odometry and Motion Segmentation in Dynamic Environments [6.5121327691369615]
  動的環境を扱う最初の教師付き学習ベースVO法であるDytanVOを提案する。 実世界の動的環境における最先端VOソリューションよりも平均27.7%向上した。
  論文  参考訳（メタデータ） (2022-09-17T23:56:03Z)
• Learning to Associate Every Segment for Video Panoptic Segmentation [123.03617367709303]
  粗いセグメントレベルのマッチングと細かなピクセルレベルのマッチングを同時に学習する。 本研究では,Cityscapes-VPSおよびVIPERデータセット上で,フレーム単位の計算モデルにより,最先端の計算結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-06-17T13:06:24Z)
• MBA-VO: Motion Blur Aware Visual Odometry [99.56896875807635]
  運動のぼかしは視覚計測法に残る主要な課題の1つである。 露光時間が長い低照度条件では、比較的遅いカメラの動きでも動きのぼやけが現れます。 露光時間内にカメラの局所軌道をモデル化し,推定する,直接的なアプローチによる新しいハイブリッド視覚オドメトリーパイプラインを提案する。
  論文  参考訳（メタデータ） (2021-03-25T09:02:56Z)
• ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
  ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。 特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。 提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
  論文  参考訳（メタデータ） (2021-03-07T04:33:13Z)
• Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency [114.02182755620784]
  本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。 筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
  論文  参考訳（メタデータ） (2021-02-04T14:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。