論文の概要: Free-form 3D Scene Inpainting with Dual-stream GAN

• arxiv url: http://arxiv.org/abs/2212.08464v1
• Date: Fri, 16 Dec 2022 13:20:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 15:41:32.345728
• Title: Free-form 3D Scene Inpainting with Dual-stream GAN
• Title（参考訳）: デュアルストリームGANによる自由形状3次元シーンの絵画化
• Authors: Ru-Fen Jheng, Tsung-Han Wu, Jia-Fong Yeh, Winston H. Hsu
• Abstract要約: フリーフォーム3Dシーンインペイントという新しいタスクを提示する。 以前の3D補完データセットのシーンとは異なり、提案された塗装データセットには、大きく多様な欠落した領域が含まれている。 図形情報と色情報の両方を融合した2重ストリームジェネレータは、異なる意味境界を生成する。 さらに細部を拡大するため、我々の軽量なデュアルストリーム判別器は、予測されたシーンの形状と色エッジをリアルかつシャープに調整する。
• 参考スコア（独自算出の注目度）: 20.186778638697696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Nowadays, the need for user editing in a 3D scene has rapidly increased due to the development of AR and VR technology. However, the existing 3D scene completion task (and datasets) cannot suit the need because the missing regions in scenes are generated by the sensor limitation or object occlusion. Thus, we present a novel task named free-form 3D scene inpainting. Unlike scenes in previous 3D completion datasets preserving most of the main structures and hints of detailed shapes around missing regions, the proposed inpainting dataset, FF-Matterport, contains large and diverse missing regions formed by our free-form 3D mask generation algorithm that can mimic human drawing trajectories in 3D space. Moreover, prior 3D completion methods cannot perform well on this challenging yet practical task, simply interpolating nearby geometry and color context. Thus, a tailored dual-stream GAN method is proposed. First, our dual-stream generator, fusing both geometry and color information, produces distinct semantic boundaries and solves the interpolation issue. To further enhance the details, our lightweight dual-stream discriminator regularizes the geometry and color edges of the predicted scenes to be realistic and sharp. We conducted experiments with the proposed FF-Matterport dataset. Qualitative and quantitative results validate the superiority of our approach over existing scene completion methods and the efficacy of all proposed components.
• Abstract（参考訳）: 近年,ARやVR技術の発展に伴い,3Dシーンでのユーザ編集の必要性が急速に高まっている。 しかし,既存の3次元シーン完了タスク(およびデータセット)は,シーン内の欠落領域がセンサ制限や物体閉塞によって生成されるため,ニーズに合致することができない。 そこで,自由形式の3dシーンインペインティングという新しいタスクを提案する。 従来の3dコンプリートデータセットのシーンとは異なり、提案されたインペインティングデータセットff-matterportには、3d空間における人間の描画の軌跡を模倣するフリーフォームの3dマスク生成アルゴリズムによって形成された、大きくて多様な欠落領域が含まれている。 さらに, 従来の3次元補完手法では, 近傍の幾何学や色コンテキストを補間するだけでは, この難易度かつ実用的な課題にうまく対応できない。 そこで,2重ストリームGAN法を提案する。 まず,幾何学的情報と色彩情報の両方を融合したデュアルストリーム生成器が,異なる意味的境界を生成し,補間問題を解く。 詳細をさらに高めるために, 軽量なデュアルストリーム判別器は, 予測されたシーンの形状と色エッジを, リアルかつシャープに再現する。 ff-matterportデータセットを用いて実験を行った。 定性的かつ定量的な結果は、既存のシーン補完法よりもアプローチの優位性と、提案するすべてのコンポーネントの有効性を検証した。

関連論文リスト

• Behind the Veil: Enhanced Indoor 3D Scene Reconstruction with Occluded Surfaces Completion [15.444301186927142]
  そこで本研究では,室内の3次元再構成法について述べる。 本手法は,閉鎖されたシーン表面を仕上げる作業に取り組み,完全な3次元シーンメッシュを実現する。 提案手法を3D完全ルームシーン(3D-CRS)とiTHORデータセットで評価した。
  論文  参考訳（メタデータ） (2024-04-03T21:18:27Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic Reconstruction [62.599588577671796]
  本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。 オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
  論文  参考訳（メタデータ） (2023-11-29T20:30:18Z)
• Incremental 3D Semantic Scene Graph Prediction from RGB Sequences [86.77318031029404]
  RGB画像列が与えられたシーンの一貫性のある3Dセマンティックシーングラフをインクリメンタルに構築するリアルタイムフレームワークを提案する。 提案手法は,新たなインクリメンタルエンティティ推定パイプラインとシーングラフ予測ネットワークから構成される。 提案するネットワークは,シーンエンティティから抽出した多視点および幾何学的特徴を用いて,反復的メッセージパッシングを用いた3次元セマンティックシーングラフを推定する。
  論文  参考訳（メタデータ） (2023-05-04T11:32:16Z)
• PaintNet: Unstructured Multi-Path Learning from 3D Point Clouds for Robotic Spray Painting [13.182797149468204]
  スプレー塗装や溶接といった産業用ロボットの問題は、その課題を解決するために複数の軌道を計画する必要がある。 既存の解は入力曲面の形式と出力経路の性質を強く仮定する。 近年の3次元深層学習の進歩を生かして,任意の3次元表面を扱える新しい枠組みを導入する。
  論文  参考訳（メタデータ） (2022-11-13T15:41:50Z)
• CompNVS: Novel View Synthesis with Scene Completion [83.19663671794596]
  本稿では,スパースグリッドに基づくニューラルシーン表現を用いた生成パイプラインを提案する。 画像特徴を3次元空間に符号化し、幾何学的完備化ネットワークとその後のテクスチャ塗布ネットワークを用いて、欠落した領域を外挿する。 フォトリアリスティック画像列は、整合性関連微分可能レンダリングによって最終的に得られる。
  論文  参考訳（メタデータ） (2022-07-23T09:03:13Z)
• Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic Segmentation [87.54570024320354]
  大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。 3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。 我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
  論文  参考訳（メタデータ） (2020-08-04T13:56:19Z)
• 3D Sketch-aware Semantic Scene Completion via Semi-supervised Structure Prior [50.73148041205675]
  セマンティック・シーン・コンプリート(SSC)タスクの目標は、単一視点で観察することで、ボリューム占有率とシーン内のオブジェクトの意味ラベルの完全な3Dボクセル表現を同時に予測することである。 低解像度のボクセル表現で深度情報を埋め込む新しい幾何学的手法を提案する。 提案手法は,SSCフレームワークからの深度特徴学習よりも有効である。
  論文  参考訳（メタデータ） (2020-03-31T09:33:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。