論文の概要: DeepDR: Deep Structure-Aware RGB-D Inpainting for Diminished Reality

• arxiv url: http://arxiv.org/abs/2312.00532v1
• Date: Fri, 1 Dec 2023 12:12:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 14:41:17.460722
• Title: DeepDR: Deep Structure-Aware RGB-D Inpainting for Diminished Reality
• Title（参考訳）: DeepDR: 深部構造対応RGB-Dインペインティング
• Authors: Christina Gsaxner, Shohei Mori, Dieter Schmalstieg, Jan Egger, Gerhard Paar, Werner Bailer and Denis Kalkofen
• Abstract要約: ダイミネート・リアリティ(Dminished Reality, DR)とは、現実の物体を仮想的に背景に置き換えることで環境から取り除くことを指す。 近年の深層学習による塗り絵は有望であるが,コヒーレントな構造と3次元幾何を生成する必要があるため,DRのユースケースは複雑である。 本稿では,DR のすべての要件を満たす最初の RGB-D インペイントフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 12.84124441493612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diminished reality (DR) refers to the removal of real objects from the environment by virtually replacing them with their background. Modern DR frameworks use inpainting to hallucinate unobserved regions. While recent deep learning-based inpainting is promising, the DR use case is complicated by the need to generate coherent structure and 3D geometry (i.e., depth), in particular for advanced applications, such as 3D scene editing. In this paper, we propose DeepDR, a first RGB-D inpainting framework fulfilling all requirements of DR: Plausible image and geometry inpainting with coherent structure, running at real-time frame rates, with minimal temporal artifacts. Our structure-aware generative network allows us to explicitly condition color and depth outputs on the scene semantics, overcoming the difficulty of reconstructing sharp and consistent boundaries in regions with complex backgrounds. Experimental results show that the proposed framework can outperform related work qualitatively and quantitatively.
• Abstract（参考訳）: ディミネート・リアリティ(Dminished Reality, DR)とは、現実の物体を仮想的に背景に置き換えることで環境から取り除くことを指す。 現代のDRフレームワークは、未保存領域を幻覚するためにインペイントを使用する。 近年の深層学習による着色は有望であるが,3次元シーン編集などの高度なアプリケーションでは,コヒーレントな構造と3次元幾何学(深度)を生成する必要があるため,DRのユースケースは複雑である。 本稿では,DRのすべての要件を満たす最初のRGB-DインペイントフレームワークであるDeepDRを提案する。 複雑な背景を持つ領域における鮮明で一貫した境界を再構築することの難しさを克服し,シーンセマンティクスに色と深さの出力を明示的に条件付けることができる。 実験結果から,提案フレームワークは質的,定量的に関連作業より優れることが示された。

関連論文リスト

• NeSLAM: Neural Implicit Mapping and Self-Supervised Feature Tracking With Depth Completion and Denoising [23.876281686625134]
  我々は,高精度で密度の高い深度推定,ロバストなカメラトラッキング,新しいビューの現実的な合成を実現するフレームワークNeSLAMを提案する。 各種屋内データセットを用いた実験は、再構築、品質追跡、新しいビュー合成におけるシステムの有効性と精度を示す。
  論文  参考訳（メタデータ） (2024-03-29T07:59:37Z)
• ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic Reconstruction [62.599588577671796]
  本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。 オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
  論文  参考訳（メタデータ） (2023-11-29T20:30:18Z)
• R3D3: Dense 3D Reconstruction of Dynamic Scenes from Multiple Cameras [106.52409577316389]
  R3D3は高密度3次元再構成とエゴモーション推定のためのマルチカメラシステムである。 提案手法は,複数のカメラからの時空間情報と単眼深度補正を利用する。 この設計により、困難で動的な屋外環境の密集した一貫した3次元再構成が可能になる。
  論文  参考訳（メタデータ） (2023-08-28T17:13:49Z)
• O$^2$-Recon: Completing 3D Reconstruction of Occluded Objects in the Scene with a Pre-trained 2D Diffusion Model [28.372289119872764]
  咬合は、RGB-Dビデオからの3D再構成において一般的な問題であり、しばしばオブジェクトの完全な再構成をブロックする。 本研究では,物体の隠れた部分の完全な表面を再構築する2次元拡散に基づくインペインティングモデルを用いて,新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:38:31Z)
• NeuRIS: Neural Reconstruction of Indoor Scenes Using Normal Priors [84.66706400428303]
  室内シーンを高品質に再現する新手法NeuRISを提案する。 NeuRISは、ニューラルネットワークのフレームワークにおいて、室内シーンの推定正規性を前者として統合している。 実験により、NeuRISは再建品質の点で最先端の手法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2022-06-27T19:22:03Z)
• PanoDR: Spherical Panorama Diminished Reality for Indoor Scenes [0.0]
  Diminished Reality (DR)は、シーン内の既存のオブジェクトを削除するために、そのようなアプリケーションの要件を満たす。 屋内(再)計画アプリケーションにおける「現実」の保存には,シーンの構造保存が不可欠である。 本研究では,まず屋内シーンの構造を予測するモデルを提案し,そのモデルを用いて,同じシーンの空の背景のみを再現する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-01T12:56:53Z)
• S2R-DepthNet: Learning a Generalizable Depth-specific Structural Representation [63.58891781246175]
  人間はリアルなイメージではなくスケッチからシーンの3次元幾何学を推測することができ、空間構造がシーンの深さを理解する上で基本的な役割を果たすことを示す。 我々は,深度推定に不可欠な特徴を捉え,無関係なスタイル情報を無視する,深度特異的な構造表現の学習を初めて行う。 当社のS2R-DepthNetは、合成データでのみ訓練されているにもかかわらず、目に見えない実際のデータに直接一般化できます。
  論文  参考訳（メタデータ） (2021-04-02T03:55:41Z)
• SCFusion: Real-time Incremental Scene Reconstruction with Semantic Completion [86.77318031029404]
  本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。 我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
  論文  参考訳（メタデータ） (2020-10-26T15:31:52Z)
• Dynamic Object Removal and Spatio-Temporal RGB-D Inpainting via Geometry-Aware Adversarial Learning [9.150245363036165]
  動的物体はロボットの環境に対する認識に大きな影響を及ぼす。 本研究は,動的物体によって隠蔽された領域における可塑性色,テクスチャ,幾何学を合成することにより,この問題に対処する。 本研究は, 対人訓練を用いて建築を最適化し, オンラインで色と深度構造を幻覚できるような, 微妙な現実的なテクスチャを合成する。
  論文  参考訳（メタデータ） (2020-08-12T01:23:21Z)
• 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
  本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。 学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。 結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
  論文  参考訳（メタデータ） (2020-04-09T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。