論文の概要: IMFine: 3D Inpainting via Geometry-guided Multi-view Refinement

• arxiv url: http://arxiv.org/abs/2503.04501v1
• Date: Thu, 06 Mar 2025 14:50:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 15:59:21.453537
• Title: IMFine: 3D Inpainting via Geometry-guided Multi-view Refinement
• Title（参考訳）: IMFine:幾何学誘導多視点リファインメントによる3Dインパインティング
• Authors: Zhihao Shi, Dong Huo, Yuhongze Zhou, Kejia Yin, Yan Min, Juwei Lu, Xinxin Zuo,
• Abstract要約: そこで我々は,一貫した視覚的品質とコヒーレントな基礎構造を持つ3Dシーンをインペイントする新しい手法を提案する。 具体的には,幾何学的先行点と,テスト時間適応により学習した多視点改善ネットワークを組み込んだ3次元インペイントパイプラインを提案する。 本研究では,対象マスクを対象マスクから抽出する新しい塗装マスク検出手法を開発し,制約のないシーンの処理性能を向上させる。
• 参考スコア（独自算出の注目度）: 15.206470606085341
• License:
• Abstract: Current 3D inpainting and object removal methods are largely limited to front-facing scenes, facing substantial challenges when applied to diverse, "unconstrained" scenes where the camera orientation and trajectory are unrestricted. To bridge this gap, we introduce a novel approach that produces inpainted 3D scenes with consistent visual quality and coherent underlying geometry across both front-facing and unconstrained scenes. Specifically, we propose a robust 3D inpainting pipeline that incorporates geometric priors and a multi-view refinement network trained via test-time adaptation, building on a pre-trained image inpainting model. Additionally, we develop a novel inpainting mask detection technique to derive targeted inpainting masks from object masks, boosting the performance in handling unconstrained scenes. To validate the efficacy of our approach, we create a challenging and diverse benchmark that spans a wide range of scenes. Comprehensive experiments demonstrate that our proposed method substantially outperforms existing state-of-the-art approaches.
• Abstract（参考訳）: 現行の3Dインペイントとオブジェクト除去は前面のシーンに限られており、カメラの向きや軌道が制限されない多様な「制約のない」シーンに適用した場合、大きな課題に直面している。 このギャップを埋めるために、正面と非拘束の両方のシーンに、一貫した視覚的品質とコヒーレントな基礎的形状で塗装された3Dシーンを生成する新しいアプローチを導入する。 具体的には、幾何学的先行要素を組み込んだロバストな3Dインパインティングパイプラインと、事前学習した画像インパインティングモデルに基づいて、テスト時間適応により訓練されたマルチビューリファインメントネットワークを提案する。 さらに,対象マスクから対象マスクを抽出し,制約のないシーンの処理性能を向上させる新しい塗装マスク検出手法を開発した。 このアプローチの有効性を検証するために、幅広い場面にまたがる挑戦的で多様なベンチマークを作成します。 包括的実験により,提案手法は既存の最先端手法を大きく上回っていることが示された。

関連論文リスト

• Geometry-Aware Diffusion Models for Multiview Scene Inpainting [24.963896970130065]
  我々は,異なる視点から捉えた入力画像の一部がマスクアウトされる3Dシーンのインペイントに焦点を当てた。 最近の研究は、生成モデルと3次元放射場を組み合わせることで、視点を越えて情報を融合することでこの問題に対処している。 本稿では,参照画像から幾何的および外見的手がかりに基づいて一貫したイメージを描ける幾何認識条件生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-18T23:30:10Z)
• Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting [75.7154104065613]
  本稿では,3次元融合過程を学習するために,教師の蒸留と自己学習によって訓練された新しい深度補完モデルを提案する。 また,地上の真理幾何に基づくシーン生成手法のベンチマーク手法も導入した。
  論文  参考訳（メタデータ） (2024-04-30T17:59:40Z)
• RefFusion: Reference Adapted Diffusion Models for 3D Scene Inpainting [63.567363455092234]
  RefFusionは,画像インペイント拡散モデルのマルチスケールパーソナライズに基づく,新しい3Dインペイント手法である。 我々のフレームワークは、制御性を維持しながら、オブジェクト除去の最先端の成果を達成する。
  論文  参考訳（メタデータ） (2024-04-16T17:50:02Z)
• Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
  ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。 具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。 設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
  論文  参考訳（メタデータ） (2023-07-11T03:40:10Z)
• MM-3DScene: 3D Scene Understanding by Customizing Masked Modeling with Informative-Preserved Reconstruction and Self-Distilled Consistency [120.9499803967496]
  本稿では,地域統計を探索し,代表的構造化点の発見と保存を行う新しい情報保存型再構築法を提案する。 本手法は, 地域形状のモデル化に集中し, マスク復元のあいまいさを軽減できる。 マスク付き領域における情報保存型再構築と未加工領域からの連続自己蒸留を組み合わせることにより,MM-3DSceneと呼ばれる統合フレームワークが提供される。
  論文  参考訳（メタデータ） (2022-12-20T01:53:40Z)
• Free-form 3D Scene Inpainting with Dual-stream GAN [20.186778638697696]
  フリーフォーム3Dシーンインペイントという新しいタスクを提示する。 以前の3D補完データセットのシーンとは異なり、提案された塗装データセットには、大きく多様な欠落した領域が含まれている。 図形情報と色情報の両方を融合した2重ストリームジェネレータは、異なる意味境界を生成する。 さらに細部を拡大するため、我々の軽量なデュアルストリーム判別器は、予測されたシーンの形状と色エッジをリアルかつシャープに調整する。
  論文  参考訳（メタデータ） (2022-12-16T13:20:31Z)
• SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields [26.296017756560467]
  3Dでは、解は複数のビューで一貫し、幾何学的に有効でなければならない。 本稿では,これらの課題に対処する新しい3Dインペイント手法を提案する。 我々はまず,NeRF法と2次元セグメンテーション法と比較して,マルチビューセグメンテーションにおけるアプローチの優位性を実証する。
  論文  参考訳（メタデータ） (2022-11-22T13:14:50Z)
• Non-Deterministic Face Mask Removal Based On 3D Priors [3.8502825594372703]
  提案手法では,マルチタスクの3次元顔再構成モジュールと顔塗装モジュールを統合する。 本手法は,3次元形状パラメータを徐々に制御することにより,表情や口の動きの異なる高品質な動的塗装結果を生成する。
  論文  参考訳（メタデータ） (2022-02-20T16:27:44Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)
• 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
  本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。 学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。 結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
  論文  参考訳（メタデータ） (2020-04-09T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。