論文の概要: GSNet: Joint Vehicle Pose and Shape Reconstruction with Geometrical and Scene-aware Supervision

• arxiv url: http://arxiv.org/abs/2007.13124v1
• Date: Sun, 26 Jul 2020 13:05:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 20:02:33.591266
• Title: GSNet: Joint Vehicle Pose and Shape Reconstruction with Geometrical and Scene-aware Supervision
• Title（参考訳）: GSNet: 幾何学的・シーン認識型スーパービジョンによる共同車両姿勢と形状再構成
• Authors: Lei Ke, Shichao Li, Yanan Sun, Yu-Wing Tai, Chi-Keung Tang
• Abstract要約: GSNet(Geometric and Scene-aware Network)と名付けられた新しいエンドツーエンドフレームワークを提案する。 共同で6DoFのポーズを推定し、都会のストリートビューから詳細な3Dカー形状を再構築する。 我々は,最大マルチタスクApolloCar3Dベンチマーク上でGSNetを評価し,定量的かつ定性的に最先端の性能を達成する。
• 参考スコア（独自算出の注目度）: 65.13980934546957
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel end-to-end framework named as GSNet (Geometric and Scene-aware Network), which jointly estimates 6DoF poses and reconstructs detailed 3D car shapes from single urban street view. GSNet utilizes a unique four-way feature extraction and fusion scheme and directly regresses 6DoF poses and shapes in a single forward pass. Extensive experiments show that our diverse feature extraction and fusion scheme can greatly improve model performance. Based on a divide-and-conquer 3D shape representation strategy, GSNet reconstructs 3D vehicle shape with great detail (1352 vertices and 2700 faces). This dense mesh representation further leads us to consider geometrical consistency and scene context, and inspires a new multi-objective loss function to regularize network training, which in turn improves the accuracy of 6D pose estimation and validates the merit of jointly performing both tasks. We evaluate GSNet on the largest multi-task ApolloCar3D benchmark and achieve state-of-the-art performance both quantitatively and qualitatively. Project page is available at https://lkeab.github.io/gsnet/.
• Abstract（参考訳）: 本稿では,GSNet (Geometric and Scene-aware Network) と名付けられた新しいエンドツーエンドフレームワークを提案する。 gsnetはユニークな4方向特徴抽出・融合方式を採用し、単一のフォワードパスで6dofポーズと形状を直接レグレッションする。 大規模な実験により,多種多様な特徴抽出と融合方式がモデル性能を大幅に改善できることが示された。 GSNetは、分割型3D形状表現戦略に基づいて、詳細な3D車両形状を再構成する(頂点1352面と面2700面)。 この密集したメッシュ表現は、さらに幾何学的一貫性とシーンコンテキストを考慮し、ネットワークトレーニングを正則化する新しい多目的損失関数を刺激し、6dポーズ推定の精度を高め、両タスクを共同で実行するメリットを検証する。 我々は,最大マルチタスクApolloCar3Dベンチマーク上でGSNetを評価し,定量的かつ定性的に最先端の性能を達成する。 プロジェクトページはhttps://lkeab.github.io/gsnet/。

関連論文リスト

• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular Video Depth [90.33296913575818]
  映像深度推定や映像からの3次元シーン再構成のようなビデオベースのシナリオでは、フレームごとの予測における未知のスケールとシフトが深度の不整合を引き起こす可能性がある。 局所重み付き線形回帰法を提案する。 提案手法は,複数のゼロショットベンチマークにおいて,既存の最先端手法の性能を50%向上させることができる。
  論文  参考訳（メタデータ） (2022-02-03T08:52:54Z)
• Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation [75.44912541912252]
  我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。 第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。 第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。 最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
  論文  参考訳（メタデータ） (2021-12-24T02:43:58Z)
• Category-Level 6D Object Pose Estimation via Cascaded Relation and Recurrent Reconstruction Networks [22.627704070200863]
  カテゴリーレベルの6Dポーズ推定は、ロボット操作や拡張現実といった多くのシナリオに不可欠である。 カテゴリレベルの6次元ポーズ推定をカスケード関係と再帰的再構成ネットワークを用いて高精度に行う。 我々の手法は最新の最先端のSPDを4.9%、CAMERA25データセットで17.7%で上回る。
  論文  参考訳（メタデータ） (2021-08-19T15:46:52Z)
• Monocular 3D Detection with Geometric Constraints Embedding and Semi-supervised Training [3.8073142980733]
  我々は,KM3D-Netと呼ばれる,RGB画像のみを用いたモノクル3Dオブジェクト検出のための新しいフレームワークを提案する。 我々は、対象のキーポイント、次元、方向を予測するための完全な畳み込みモデルを設計し、これらの推定を視点幾何学的制約と組み合わせて位置属性を計算する。
  論文  参考訳（メタデータ） (2020-09-02T00:51:51Z)
• Shape Prior Deformation for Categorical 6D Object Pose and Size Estimation [62.618227434286]
  RGB-D画像から見えないオブジェクトの6Dポーズとサイズを復元する新しい学習手法を提案する。 本研究では,事前学習したカテゴリ形状からの変形を明示的にモデル化することにより,3次元オブジェクトモデルを再構築するディープネットワークを提案する。
  論文  参考訳（メタデータ） (2020-07-16T16:45:05Z)
• PerMO: Perceiving More at Once from a Single Image for Autonomous Driving [76.35684439949094]
  単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。 私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。 我々はこれらのアルゴリズムを自律運転システムに統合した。
  論文  参考訳（メタデータ） (2020-07-16T05:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。