論文の概要: ViFu: Multiple 360$^\circ$ Objects Reconstruction with Clean Background via Visible Part Fusion

• arxiv url: http://arxiv.org/abs/2404.09426v1
• Date: Mon, 15 Apr 2024 02:44:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 13:58:36.036717
• Title: ViFu: Multiple 360$^\circ$ Objects Reconstruction with Clean Background via Visible Part Fusion
• Title（参考訳）: ViFu: Visible Part Fusionによるクリーンな背景を持つ複数360$^\circ$オブジェクト再構成
• Authors: Tianhan Xu, Takuya Ikeda, Koichi Nishiwaki,
• Abstract要約: 本研究では,異なるタイムスタンプのシーンから,静的でクリーンな背景と360ドル単位のオブジェクトを分割して回収する手法を提案する。 我々の基本的な考え方は、同じ物体の集合を様々な配置で観察することで、あるシーンで見えない部分が他のシーンで見えるようになるというものである。
• 参考スコア（独自算出の注目度）: 7.8788463395442045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a method to segment and recover a static, clean background and multiple 360$^\circ$ objects from observations of scenes at different timestamps. Recent works have used neural radiance fields to model 3D scenes and improved the quality of novel view synthesis, while few studies have focused on modeling the invisible or occluded parts of the training images. These under-reconstruction parts constrain both scene editing and rendering view selection, thereby limiting their utility for synthetic data generation for downstream tasks. Our basic idea is that, by observing the same set of objects in various arrangement, so that parts that are invisible in one scene may become visible in others. By fusing the visible parts from each scene, occlusion-free rendering of both background and foreground objects can be achieved. We decompose the multi-scene fusion task into two main components: (1) objects/background segmentation and alignment, where we leverage point cloud-based methods tailored to our novel problem formulation; (2) radiance fields fusion, where we introduce visibility field to quantify the visible information of radiance fields, and propose visibility-aware rendering for the fusion of series of scenes, ultimately obtaining clean background and 360$^\circ$ object rendering. Comprehensive experiments were conducted on synthetic and real datasets, and the results demonstrate the effectiveness of our method.
• Abstract（参考訳）: 本稿では,静的でクリーンな背景と複数の360$^\circ$オブジェクトを,異なるタイムスタンプのシーンから分割し,復元する手法を提案する。 近年の研究では、3Dシーンのモデリングに神経放射場を使用し、新しいビュー合成の質を改善している一方、トレーニング画像の見えない部分や隠蔽部分のモデリングに焦点を当てている研究はほとんどない。 これらのアンダーコンストラクション部分はシーン編集とレンダリングビュー選択の両方を制限し、ダウンストリームタスクのための合成データ生成の利便性を制限している。 我々の基本的な考え方は、同じ物体の集合を様々な配置で観察することで、あるシーンで見えない部分が他のシーンで見えるようになるというものである。 各シーンから見える部分を融合させることで、背景と前景の両方の閉塞のないレンダリングを実現することができる。 対象/背景のセグメンテーションとアライメント, 新たな問題定式化に適した点クラウドベースの手法を活用する, (2) 放射場融合, 放射場の可視情報を定量化するための可視場を導入, 一連のシーンの融合のための可視性認識レンダリングを提案し, 最終的にクリーンな背景と360$^\circ$オブジェクトレンダリングを得る。 合成および実データを用いて総合的な実験を行い,本手法の有効性を実証した。

関連論文リスト

• Disentangled 3D Scene Generation with Layout Learning [109.03233745767062]
  本稿では,コンポーネントオブジェクトに絡み合った3Dシーンを生成する手法を提案する。 私たちの重要な洞察は、オブジェクトは空間的に再構成された場合、同じシーンの有効な構成を生成する3Dシーンの一部を見つけることで発見できるということです。 単純さにもかかわらず、我々のアプローチは個々のオブジェクトに3Dシーンを生成することに成功している。
  論文  参考訳（メタデータ） (2024-02-26T18:54:15Z)
• Neural Implicit Field Editing Considering Object-environment Interaction [5.285267388811263]
  オブジェクトとシーン環境のインタラクション認識システム(OSI-Aware)を提案する。 オブジェクトとシーン環境の相互作用を考慮した新しい2ストリームニューラルレンダリングシステムである。 新規なビュー合成タスクにおけるレンダリング品質の競争性能を実現する。
  論文  参考訳（メタデータ） (2023-11-01T10:35:47Z)
• Language-driven Object Fusion into Neural Radiance Fields with Pose-Conditioned Dataset Updates [28.325117929622312]
  本稿では,データセット更新によるニューラルラディアンスフィールドを用いたオブジェクト操作のための新しい言語駆動型アプローチを提案する。 本手法は,編集シーンの写実的画像を生成するとともに,3次元再構成やニューラルラディアンスフィールドブレンディングにおいて最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2023-09-20T13:05:42Z)
• OR-NeRF: Object Removing from 3D Scenes Guided by Multiview Segmentation with Neural Radiance Fields [53.32527220134249]
  ニューラル・レージアンス・フィールド(NeRF)の出現により,3次元シーン編集への関心が高まっている。 現在の手法では、時間を要するオブジェクトのラベル付け、特定のターゲットを削除する能力の制限、削除後のレンダリング品質の妥協といった課題に直面している。 本稿では, OR-NeRF と呼ばれる新しいオブジェクト除去パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-17T18:18:05Z)
• DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis [90.32352050266104]
  DisCoSceneは高品質で制御可能なシーン合成のための3Daware生成モデルである。 グローバルな局所的差別を伴う2次元画像のみを学習することで、シーン全体をオブジェクト中心の生成フィールドに分解する。 挑戦的な屋外データセットを含む多くのシーンデータセットで最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:59:59Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation [58.16911861917018]
  高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。 モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。 我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
  論文  参考訳（メタデータ） (2022-04-22T17:57:00Z)
• Visiting the Invisible: Layer-by-Layer Completed Scene Decomposition [57.088328223220934]
  既存のシーン理解システムは、主にシーンの可視部分を認識し、現実世界の物理的物体の無傷な外観を無視します。 本研究では,ある場面における物体と背景の可視部分と可視部分の両方に取り組む高レベルのシーン理解システムを提案する。
  論文  参考訳（メタデータ） (2021-04-12T11:37:23Z)
• GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields [45.21191307444531]
  深部生成モデルは、高解像度で光リアルな画像合成を可能にする。 しかし、多くのアプリケーションにとって、これは十分ではない。コンテンツ生成も制御可能である必要がある。 我々のキーとなる仮説は、構成的な3Dシーン表現を生成モデルに組み込むことにより、より制御可能な画像合成につながるというものである。
  論文  参考訳（メタデータ） (2020-11-24T14:14:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。