論文の概要: AuraFusion360: Augmented Unseen Region Alignment for Reference-based 360° Unbounded Scene Inpainting

• arxiv url: http://arxiv.org/abs/2502.05176v1
• Date: Fri, 07 Feb 2025 18:59:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:56:22.091373
• Title: AuraFusion360: Augmented Unseen Region Alignment for Reference-based 360° Unbounded Scene Inpainting
• Title（参考訳）: AuraFusion360: 参照ベース360°非有界皮膜の非可視領域アライメント
• Authors: Chung-Ho Wu, Yang-Jung Chen, Ying-Huan Chen, Jie-Ying Lee, Bo-Hsu Ke, Chun-Wei Tuan Mu, Yi-Chuan Huang, Chin-Yang Lin, Min-Hung Chen, Yen-Yu Lin, Yu-Lun Liu,
• Abstract要約: 仮想現実からアーキテクチャビジュアライゼーションまで、アプリケーションには3次元のシーンインペイントが不可欠だ。 本稿では,ガウススプラッティングで表現された3次元シーンにおいて,高品質な物体の除去と穴埋めを可能にする新しい参照ベース手法であるAuraFusion360を提案する。 また,360-USIDは,地上の真実を反映した360度非有界シーンの包括的データセットである。
• 参考スコア（独自算出の注目度）: 15.177483700681377
• License:
• Abstract: Three-dimensional scene inpainting is crucial for applications from virtual reality to architectural visualization, yet existing methods struggle with view consistency and geometric accuracy in 360{\deg} unbounded scenes. We present AuraFusion360, a novel reference-based method that enables high-quality object removal and hole filling in 3D scenes represented by Gaussian Splatting. Our approach introduces (1) depth-aware unseen mask generation for accurate occlusion identification, (2) Adaptive Guided Depth Diffusion, a zero-shot method for accurate initial point placement without requiring additional training, and (3) SDEdit-based detail enhancement for multi-view coherence. We also introduce 360-USID, the first comprehensive dataset for 360{\deg} unbounded scene inpainting with ground truth. Extensive experiments demonstrate that AuraFusion360 significantly outperforms existing methods, achieving superior perceptual quality while maintaining geometric accuracy across dramatic viewpoint changes. See our project page for video results and the dataset at https://kkennethwu.github.io/aurafusion360/.
• Abstract（参考訳）: 3次元シーンのインペイントは、仮想現実からアーキテクチャの可視化まで、アプリケーションには不可欠であるが、既存の手法では、360{\deg} 境界のないシーンでは、ビューの一貫性と幾何的精度に苦慮している。 本稿では,ガウススプラッティングで表現された3次元シーンにおいて,高品質な物体の除去と穴埋めを可能にする新しい参照ベース手法であるAuraFusion360を提案する。 提案手法では,(1)正確な閉塞識別のための奥行き認識型マスク生成,(2)適応ガイド深度拡散,(2)追加トレーニングを必要とせず正確な初期位置配置のためのゼロショット法,(3)多視点コヒーレンスのためのSDEditによるディテール強化を提案する。 360-USIDも導入しています。 大規模な実験により、AuraFusion360は既存の手法よりも大幅に優れており、劇的な視点の変化に対して幾何的精度を維持しつつ、知覚品質が優れていることが示されている。 ビデオ結果のプロジェクトページとデータセットはhttps://kkennethwu.github.io/aurafusion360/にある。

関連論文リスト

• DepthLab: From Partial to Complete [80.58276388743306]
  不足する値は、幅広いアプリケーションにわたる深度データにとって共通の課題である。 この作業は、イメージ拡散プリエントを利用した基礎深度塗装モデルであるDepthLabと、このギャップを埋めるものだ。 提案手法は,3Dシーンのインペイント,テキストから3Dシーン生成,DUST3Rによるスパースビュー再構成,LiDAR深度補完など,様々なダウンストリームタスクにおいて有用であることを示す。
  論文  参考訳（メタデータ） (2024-12-24T04:16:38Z)
• Depth Anywhere: Enhancing 360 Monocular Depth Estimation via Perspective Distillation and Unlabeled Data Augmentation [6.832852988957967]
  ラベルのない360度データを効果的に活用する新しい深度推定フレームワークを提案する。 提案手法では,教師モデルとして最先端の視点深度推定モデルを用いて擬似ラベルを生成する。 我々は、Matterport3DやStanford2D3Dといったベンチマークデータセットに対するアプローチを検証し、深さ推定精度を大幅に改善した。
  論文  参考訳（メタデータ） (2024-06-18T17:59:31Z)
• Sp2360: Sparse-view 360 Scene Reconstruction using Cascaded 2D Diffusion Priors [51.36238367193988]
  潜時拡散モデル(LDM)を用いた360度3次元シーンのスパースビュー再構成に挑戦する。 SparseSplat360は,未完成の細部を埋めたり,新しいビューをクリーンにするために,インペイントとアーティファクト除去のカスケードを利用する手法である。 提案手法は,9つの入力ビューから360度映像全体を生成する。
  論文  参考訳（メタデータ） (2024-05-26T11:01:39Z)
• DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
  テキストから3D 360$circ$のシーン生成パイプラインを提示する。 提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。 当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
  論文  参考訳（メタデータ） (2024-04-10T10:46:59Z)
• NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes [59.15910989235392]
  屋外シーンのスパースビュー合成のためのNeO 360, Neural Fieldを紹介する。 NeO 360は、単一のまたは少数のRGB画像から360degのシーンを再構成する一般化可能な方法である。 我々の表現は、Voxel-basedとBird's-eye-view (BEV)の両方の表現の長所を組み合わせたものである。
  論文  参考訳（メタデータ） (2023-08-24T17:59:50Z)
• NeuralLift-360: Lifting An In-the-wild 2D Photo to A 3D Object with 360{\deg} Views [77.93662205673297]
  本研究では,1枚の画像を3Dオブジェクトに持ち上げるという課題について検討する。 所定の参照画像とよく一致する360度ビューを持つ可視3Dオブジェクトを生成する能力を示す。 本稿では,深度を考慮した放射率表現を用いたニューラルLift-360という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-29T17:59:06Z)
• 360 Depth Estimation in the Wild -- The Depth360 Dataset and the SegFuse Network [35.03201732370496]
  全方位画像からの一視点深度推定は、自律運転やシーン再構築といった幅広い応用で人気を博している。 本研究ではまず,トレーニングデータ問題に対処するため,Depth360と呼ばれるさまざまな設定の大規模データセットを構築した。 次に、人間の眼を模倣してデータセットから効果的に学習する、エンドツーエンドのマルチタスク学習ネットワークであるSegFuseを提案する。
  論文  参考訳（メタデータ） (2022-02-16T11:56:31Z)
• 360MonoDepth: High-Resolution 360{\deg} Monocular Depth Estimation [15.65828728205071]
  360degデータでは 単分子深度推定は 依然として課題です 現在のCNNベースのメソッドは、GPUメモリが限られているため、そのような高解像度をサポートしない。 タンジェント画像を用いた高解像度360deg画像からの単眼深度推定のためのフレキシブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:57:29Z)
• LED2-Net: Monocular 360 Layout Estimation via Differentiable Depth Rendering [59.63979143021241]
  パノラマの地平線上での深度予測問題として360度レイアウト推定のタスクを定式化する。 レイアウトから深度予測への変換を区別できるように、差分可能な深度レンダリング手順を提案します。 提案手法は,360 レイアウトのベンチマークデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-04-01T15:48:41Z)
• A Fixation-based 360{\deg} Benchmark Dataset for Salient Object Detection [21.314578493964333]
  パノラマコンテンツ中の固定予測(FP)は、仮想現実(VR)アプリケーションの普及傾向とともに広く研究されている。 静止物体検出(SOD)は、実際のシーンを表すデータセットが欠如しているため、360度画像ではめったに探索されていない。
  論文  参考訳（メタデータ） (2020-01-22T11:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。