論文の概要: Panoptic-Depth Forecasting

• arxiv url: http://arxiv.org/abs/2409.12008v1
• Date: Wed, 18 Sep 2024 14:21:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 17:24:06.791967
• Title: Panoptic-Depth Forecasting
• Title（参考訳）: Panoptic-Depth Forecasting
• Authors: Juana Valeria Hurtado, Riya Mohan, Abhinav Valada,
• Abstract要約: 本研究では、観測されていない将来のフレームのパン光学分割と深度マップを共同で予測するためのパン光学深度予測タスクを提案する。 我々は、LiDARポイントクラウドからの深度マップを計算し、ラベル付きデータを活用することで、人気のあるKITTI-360とCityscapesベンチマークを拡張した。 本稿では、トランスフォーマーベースのエンコーダ、予測モジュール、タスク固有のデコーダを組み込むことで、リッチな時間的表現を学習する新しいPDcastアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 8.81078960241057
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Forecasting the semantics and 3D structure of scenes is essential for robots to navigate and plan actions safely. Recent methods have explored semantic and panoptic scene forecasting; however, they do not consider the geometry of the scene. In this work, we propose the panoptic-depth forecasting task for jointly predicting the panoptic segmentation and depth maps of unobserved future frames, from monocular camera images. To facilitate this work, we extend the popular KITTI-360 and Cityscapes benchmarks by computing depth maps from LiDAR point clouds and leveraging sequential labeled data. We also introduce a suitable evaluation metric that quantifies both the panoptic quality and depth estimation accuracy of forecasts in a coherent manner. Furthermore, we present two baselines and propose the novel PDcast architecture that learns rich spatio-temporal representations by incorporating a transformer-based encoder, a forecasting module, and task-specific decoders to predict future panoptic-depth outputs. Extensive evaluations demonstrate the effectiveness of PDcast across two datasets and three forecasting tasks, consistently addressing the primary challenges. We make the code publicly available at https://pdcast.cs.uni-freiburg.de.
• Abstract（参考訳）: シーンのセマンティクスと3D構造を予測することは、ロボットが安全に行動し、計画する上で不可欠である。 近年,セマンティック・パノプティック・シーンの予測手法が研究されているが,これらの手法はシーンの幾何学を考慮していない。 本研究では、単眼カメラ画像から、観測されていない将来のフレームのパノプティックセグメンテーションと深度マップを共同で予測するためのパノプティックディープス予測タスクを提案する。 この作業を容易にするために、LiDARポイントクラウドからの深度マップを計算し、シーケンシャルなラベル付きデータを活用することで、人気のあるKITTI-360とCityscapesベンチマークを拡張した。 また,コヒーレントな手法で予測の汎視的品質と深度推定の精度を定量化する適切な評価指標も導入する。 さらに、2つのベースラインを提案し、トランスフォーマーベースのエンコーダ、予測モジュール、タスク固有のデコーダを組み込むことで、より豊かな時空間表現を学習する新しいPDcastアーキテクチャを提案する。 大規模な評価では、2つのデータセットと3つの予測タスクにまたがるPDcastの有効性が示され、主要な課題に一貫して対処している。 コードはhttps://pdcast.cs.uni-freiburg.deで公開しています。

関連論文リスト

• Range-Agnostic Multi-View Depth Estimation With Keyframe Selection [33.99466211478322]
  提案したフレームから3次元再構成を行うには,シーン距離範囲に関する事前知識が必要である。 RAMDepthは、深さ推定とマッチングステップの順序を反転させる、効率的で純粋に2Dフレームワークである。
  論文  参考訳（メタデータ） (2024-01-25T18:59:42Z)
• OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
  本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。 我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。 意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
  論文  参考訳（メタデータ） (2023-12-14T18:58:52Z)
• Calibrating Panoramic Depth Estimation for Practical Localization and Mapping [20.621442016969976]
  周囲環境の絶対深度値は, 局所化, ナビゲーション, 3次元構造推定など, 様々な補助技術にとって重要な手がかりとなる。 本研究では,パノラマ画像から推定される精度の高い深度が,3次元情報を必要とする幅広い下流タスクに対して,強力で軽量な入力として機能することを提案する。
  論文  参考訳（メタデータ） (2023-08-27T04:50:05Z)
• Incremental 3D Semantic Scene Graph Prediction from RGB Sequences [86.77318031029404]
  RGB画像列が与えられたシーンの一貫性のある3Dセマンティックシーングラフをインクリメンタルに構築するリアルタイムフレームワークを提案する。 提案手法は,新たなインクリメンタルエンティティ推定パイプラインとシーングラフ予測ネットワークから構成される。 提案するネットワークは,シーンエンティティから抽出した多視点および幾何学的特徴を用いて,反復的メッセージパッシングを用いた3次元セマンティックシーングラフを推定する。
  論文  参考訳（メタデータ） (2023-05-04T11:32:16Z)
• How Far Can I Go ? : A Self-Supervised Approach for Deterministic Video Depth Forecasting [23.134156184783357]
  本研究では,将来の未観測都市景観の深度推定を予測するための,新たな自己監督手法を提案する。 この研究は、ビデオの今後観測されないフレームの単眼深度を推定するための自己教師付き学習を初めて探求した。
  論文  参考訳（メタデータ） (2022-07-01T15:51:17Z)
• Joint Forecasting of Panoptic Segmentations with Difference Attention [72.03470153917189]
  シーン内の全てのオブジェクトを共同で予測する新しいパノプティックセグメンテーション予測モデルについて検討する。 提案したモデルをCityscapesとAIODriveデータセット上で評価する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:32Z)
• P3Depth: Monocular Depth Estimation with a Piecewise Planarity Prior [133.76192155312182]
  本研究では,コプラナー画素からの情報を選択的に活用して予測深度を改善する手法を提案する。 本手法の広範な評価により, 教師付き単分子深度推定法において, 新たな手法の確立が期待できる。
  論文  参考訳（メタデータ） (2022-04-05T10:03:52Z)
• Panoptic Segmentation Forecasting [71.75275164959953]
  我々の目標は、最近の観測結果から近い将来の予測を行うことです。 この予測能力、すなわち予測能力は、自律的なエージェントの成功に不可欠なものだと考えています。 そこで我々は,2成分モデルを構築した。一方のコンポーネントは,オードメトリーを予測して背景物の力学を学習し,他方のコンポーネントは検出された物の力学を予測する。
  論文  参考訳（メタデータ） (2021-04-08T17:59:16Z)
• Inverting the Pose Forecasting Pipeline with SPF2: Sequential Pointcloud Forecasting for Sequential Pose Forecasting [106.3504366501894]
  自動運転車やロボット操作システムは、オブジェクトを最初に検出して追跡することによって、将来のオブジェクトのポーズを予測することが多い。 ポーズ予測アルゴリズムは通常、オブジェクトのポーズのラベル付きシーケンスを必要とするため、このパイプラインはスケールするのに費用がかかる。 本稿では,まず3次元センサデータを予測し,予測点雲列上の物体を検知・追跡し,将来的なポーズを求めることを提案する。 これにより、センサーデータ予測タスクにラベルが不要であるため、予測のスケールが難しくなる。
  論文  参考訳（メタデータ） (2020-03-18T17:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。