論文の概要: AuraFusion360: Augmented Unseen Region Alignment for Reference-based 360° Unbounded Scene Inpainting

• arxiv url: http://arxiv.org/abs/2502.05176v1
• Date: Fri, 07 Feb 2025 18:59:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 18:29:33.295862
• Title: AuraFusion360: Augmented Unseen Region Alignment for Reference-based 360° Unbounded Scene Inpainting
• Title（参考訳）: AuraFusion360: 参照ベース360°非有界皮膜の非可視領域アライメント
• Authors: Chung-Ho Wu, Yang-Jung Chen, Ying-Huan Chen, Jie-Ying Lee, Bo-Hsu Ke, Chun-Wei Tuan Mu, Yi-Chuan Huang, Chin-Yang Lin, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu,
• Abstract要約: 仮想現実からアーキテクチャビジュアライゼーションまで、アプリケーションには3次元のシーンインペイントが不可欠だ。 本稿では,ガウススプラッティングで表現された3次元シーンにおいて,高品質な物体の除去と穴埋めを可能にする新しい参照ベース手法であるAuraFusion360を提案する。 また,360-USIDは,地上の真実を反映した360度非有界シーンの包括的データセットである。
• 参考スコア（独自算出の注目度）: 15.177483700681377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Three-dimensional scene inpainting is crucial for applications from virtual reality to architectural visualization, yet existing methods struggle with view consistency and geometric accuracy in 360{\deg} unbounded scenes. We present AuraFusion360, a novel reference-based method that enables high-quality object removal and hole filling in 3D scenes represented by Gaussian Splatting. Our approach introduces (1) depth-aware unseen mask generation for accurate occlusion identification, (2) Adaptive Guided Depth Diffusion, a zero-shot method for accurate initial point placement without requiring additional training, and (3) SDEdit-based detail enhancement for multi-view coherence. We also introduce 360-USID, the first comprehensive dataset for 360{\deg} unbounded scene inpainting with ground truth. Extensive experiments demonstrate that AuraFusion360 significantly outperforms existing methods, achieving superior perceptual quality while maintaining geometric accuracy across dramatic viewpoint changes. See our project page for video results and the dataset at https://kkennethwu.github.io/aurafusion360/.
• Abstract（参考訳）: 3次元シーンのインペイントは、仮想現実からアーキテクチャの可視化まで、アプリケーションには不可欠であるが、既存の手法では、360{\deg} 境界のないシーンでは、ビューの一貫性と幾何的精度に苦慮している。 本稿では,ガウススプラッティングで表現された3次元シーンにおいて,高品質な物体の除去と穴埋めを可能にする新しい参照ベース手法であるAuraFusion360を提案する。 提案手法では,(1)正確な閉塞識別のための奥行き認識型マスク生成,(2)適応ガイド深度拡散,(2)追加トレーニングを必要とせず正確な初期位置配置のためのゼロショット法,(3)多視点コヒーレンスのためのSDEditによるディテール強化を提案する。 360-USIDも導入しています。 大規模な実験により、AuraFusion360は既存の手法よりも大幅に優れており、劇的な視点の変化に対して幾何的精度を維持しつつ、知覚品質が優れていることが示されている。 ビデオ結果のプロジェクトページとデータセットはhttps://kkennethwu.github.io/aurafusion360/にある。

関連論文リスト

• Free360: Layered Gaussian Splatting for Unbounded 360-Degree View Synthesis from Extremely Sparse and Unposed Views [29.85363432402896]
  本研究では,非有界な360degシーンにおいて,非有界かつ極めてスパースな3次元再構成を実現するための新しいニューラルネットワークレンダリングフレームワークを提案する。 密集したステレオ再構成モデルを用いて粗い形状を復元し, ノイズを低減し, 閉塞領域を埋めるために, 層特異的なブートストラップ最適化を導入する。 提案手法は,レンダリング品質と表面再構成精度において,既存の最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2025-03-31T17:59:25Z)
• IM360: Textured Mesh Reconstruction for Large-scale Indoor Mapping with 360$^\circ$ Cameras [53.53895891356167]
  室内環境の3次元マッピングとレンダリングのための360ドルのカメラのための新しい3D再構成パイプラインを提案する。 我々のアプローチ(IM360)は全方位画像の広い視野を活用し、球面カメラモデルをSfMパイプラインのすべてのコアコンポーネントに統合する。 Matterport3DとStanford2D3Dデータセットから大規模屋内シーンのパイプラインを評価する。
  論文  参考訳（メタデータ） (2025-02-18T05:15:19Z)
• Depth Anywhere: Enhancing 360 Monocular Depth Estimation via Perspective Distillation and Unlabeled Data Augmentation [6.832852988957967]
  ラベルのない360度データを効果的に活用する新しい深度推定フレームワークを提案する。 提案手法では,教師モデルとして最先端の視点深度推定モデルを用いて擬似ラベルを生成する。 我々は、Matterport3DやStanford2D3Dといったベンチマークデータセットに対するアプローチを検証し、深さ推定精度を大幅に改善した。
  論文  参考訳（メタデータ） (2024-06-18T17:59:31Z)
• Sp2360: Sparse-view 360 Scene Reconstruction using Cascaded 2D Diffusion Priors [51.36238367193988]
  潜時拡散モデル(LDM)を用いた360度3次元シーンのスパースビュー再構成に挑戦する。 SparseSplat360は,未完成の細部を埋めたり,新しいビューをクリーンにするために,インペイントとアーティファクト除去のカスケードを利用する手法である。 提案手法は,9つの入力ビューから360度映像全体を生成する。
  論文  参考訳（メタデータ） (2024-05-26T11:01:39Z)
• DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
  テキストから3D 360$circ$のシーン生成パイプラインを提示する。 提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。 当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
  論文  参考訳（メタデータ） (2024-04-10T10:46:59Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• MM-3DScene: 3D Scene Understanding by Customizing Masked Modeling with Informative-Preserved Reconstruction and Self-Distilled Consistency [120.9499803967496]
  本稿では,地域統計を探索し,代表的構造化点の発見と保存を行う新しい情報保存型再構築法を提案する。 本手法は, 地域形状のモデル化に集中し, マスク復元のあいまいさを軽減できる。 マスク付き領域における情報保存型再構築と未加工領域からの連続自己蒸留を組み合わせることにより,MM-3DSceneと呼ばれる統合フレームワークが提供される。
  論文  参考訳（メタデータ） (2022-12-20T01:53:40Z)
• 360MonoDepth: High-Resolution 360{\deg} Monocular Depth Estimation [15.65828728205071]
  360degデータでは 単分子深度推定は 依然として課題です 現在のCNNベースのメソッドは、GPUメモリが限られているため、そのような高解像度をサポートしない。 タンジェント画像を用いた高解像度360deg画像からの単眼深度推定のためのフレキシブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:57:29Z)
• LED2-Net: Monocular 360 Layout Estimation via Differentiable Depth Rendering [59.63979143021241]
  パノラマの地平線上での深度予測問題として360度レイアウト推定のタスクを定式化する。 レイアウトから深度予測への変換を区別できるように、差分可能な深度レンダリング手順を提案します。 提案手法は,360 レイアウトのベンチマークデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-04-01T15:48:41Z)
• A Fixation-based 360{\deg} Benchmark Dataset for Salient Object Detection [21.314578493964333]
  パノラマコンテンツ中の固定予測(FP)は、仮想現実(VR)アプリケーションの普及傾向とともに広く研究されている。 静止物体検出(SOD)は、実際のシーンを表すデータセットが欠如しているため、360度画像ではめったに探索されていない。
  論文  参考訳（メタデータ） (2020-01-22T11:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。