論文の概要: Dynamic Object Removal and Spatio-Temporal RGB-D Inpainting via Geometry-Aware Adversarial Learning

• arxiv url: http://arxiv.org/abs/2008.05058v4
• Date: Mon, 3 Jan 2022 23:32:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 05:03:39.323989
• Title: Dynamic Object Removal and Spatio-Temporal RGB-D Inpainting via Geometry-Aware Adversarial Learning
• Title（参考訳）: 幾何学習による動的物体除去と時空間RGB-D塗装
• Authors: Borna Be\v{s}i\'c and Abhinav Valada
• Abstract要約: 動的物体はロボットの環境に対する認識に大きな影響を及ぼす。 本研究は,動的物体によって隠蔽された領域における可塑性色,テクスチャ,幾何学を合成することにより,この問題に対処する。 本研究は, 対人訓練を用いて建築を最適化し, オンラインで色と深度構造を幻覚できるような, 微妙な現実的なテクスチャを合成する。
• 参考スコア（独自算出の注目度）: 9.150245363036165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic objects have a significant impact on the robot's perception of the environment which degrades the performance of essential tasks such as localization and mapping. In this work, we address this problem by synthesizing plausible color, texture and geometry in regions occluded by dynamic objects. We propose the novel geometry-aware DynaFill architecture that follows a coarse-to-fine topology and incorporates our gated recurrent feedback mechanism to adaptively fuse information from previous timesteps. We optimize our architecture using adversarial training to synthesize fine realistic textures which enables it to hallucinate color and depth structure in occluded regions online in a spatially and temporally coherent manner, without relying on future frame information. Casting our inpainting problem as an image-to-image translation task, our model also corrects regions correlated with the presence of dynamic objects in the scene, such as shadows or reflections. We introduce a large-scale hyperrealistic dataset with RGB-D images, semantic segmentation labels, camera poses as well as groundtruth RGB-D information of occluded regions. Extensive quantitative and qualitative evaluations show that our approach achieves state-of-the-art performance, even in challenging weather conditions. Furthermore, we present results for retrieval-based visual localization with the synthesized images that demonstrate the utility of our approach.
• Abstract（参考訳）: 動的物体はロボットの環境に対する認識に大きな影響を与え、局所化やマッピングといった重要なタスクのパフォーマンスを低下させる。 本研究では,動的物体が占有する領域における色,テクスチャ,幾何学を合成することにより,この問題に対処した。 本稿では,粗面から細部へのトポロジーに従う新しい幾何認識型dynafillアーキテクチャを提案し,従来の時間ステップからの情報を適応的に融合するゲート型再帰フィードバック機構を取り入れる。 提案手法は,将来的なフレーム情報に頼らずに,空間的かつ時間的にコヒーレントなオンライン環境において色と深さ構造を表現可能な,微細なテクスチャを合成するために,敵対的トレーニングを用いてアーキテクチャを最適化する。 また,画像から画像への変換タスクとして,画像の影や反射などの動的物体の存在と相関する領域を補正する。 本稿では,RGB-D画像,セマンティックセグメンテーションラベル,カメラポーズ,および閉鎖領域の基底RGB-D情報を含む大規模超現実的データセットを提案する。 広範囲な量的・質的評価から,本手法は厳しい気象条件下においても最先端の性能が得られることが示された。 さらに,本手法の有用性を示す合成画像を用いて,検索に基づく視覚定位に関する結果を示す。

関連論文リスト

• DENSER: 3D Gaussians Splatting for Scene Reconstruction of Dynamic Urban Environments [0.0]
  動的オブジェクトの表現を大幅に強化するフレームワークであるDENSERを提案する。 提案手法は最先端の手法を広いマージンで大幅に上回る。
  論文  参考訳（メタデータ） (2024-09-16T07:11:58Z)
• ProSGNeRF: Progressive Dynamic Neural Scene Graph with Frequency Modulated Auto-Encoder in Urban Scenes [16.037300340326368]
  暗黙の神経表現は、大規模で複雑なシーンのビュー合成において有望な結果を示している。 既存のアプローチでは、素早く動くオブジェクトをキャプチャできないか、カメラのエゴモーションなしでシーングラフを構築する必要がある。 本研究では,大規模都市景観と高速移動車両の視点合成問題を共同で解決することを目的とする。
  論文  参考訳（メタデータ） (2023-12-14T16:11:42Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• Mesh2Tex: Generating Mesh Textures from Image Queries [45.32242590651395]
  特に、実際の物体の画像からのテクスチャ化されたステージテクスチャは、実際の画像観察と一致する。 本稿では,非相関な3次元オブジェクト形状のコレクションからオブジェクト形状を学習するMesh2Texを紹介する。
  論文  参考訳（メタデータ） (2023-04-12T13:58:25Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Reconstructing Interactive 3D Scenes by Panoptic Mapping and CAD Model Alignments [81.38641691636847]
  エンボディエージェントの観点から,シーン再構築の問題を再考する。 rgb-dデータストリームを用いてインタラクティブシーンを再構築する。 この再構成されたシーンは、密集したパノプティカルマップのオブジェクトメッシュを、部分ベースのCADモデルに置き換える。
  論文  参考訳（メタデータ） (2021-03-30T05:56:58Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)
• Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
  画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。 画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。 私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
  論文  参考訳（メタデータ） (2020-03-27T21:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。