論文の概要: CoIn: Comprehensive 2D-3D Inpainting with Gaussian Splatting Guidance
- arxiv url: http://arxiv.org/abs/2606.27584v1
- Date: Thu, 25 Jun 2026 22:24:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.322585
- Title: CoIn: Comprehensive 2D-3D Inpainting with Gaussian Splatting Guidance
- Title（参考訳）: CoIn: ガウシアンスティング誘導による2D-3D塗装
- Abstract要約: CoInは、2Dインペイントモデルと3DGSをマルチステージの一貫性パイプラインを通じてブリッジするフレームワークである。
参照ビュー(2D ->3D)に適応的に重み付けすることで、粗い3Dシーンを再構成するための特徴注意付き参照適応GSを導入する。
最後に、テクスチュア・エンハンシング・ディスクリミネータは高光度リアリズムを実現するために3Dシーンを洗練する(2D ->3D)。
- 参考スコア（独自算出の注目度）: 33.42204651464501
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D scene inpainting is essential for reconstructing areas corrupted by occlusions or limited viewpoints. While recent methods leverage Gaussian Splatting (GS) for efficient 3D editing, they often depend on precise multi-view segmentation masks and are inherently constrained to object removal tasks. We propose CoIn, a novel framework that bridges 2D inpainting models and 3DGS through a multi-stage consistency pipeline. Our approach first generates initial inpainted images using a diffusion model, enabling the use of arbitrary-shaped masks and diverse tasks like object insertion. We then introduce Reference Adaptive GS with Feature Attention to reconstruct a coarse 3D scene by adaptively weighing towards a reference view (2D -> 3D). This 3D representation provides geometric guidance to the diffusion process via GS-based Reference Feature Warping, ensuring multi-view consistency (3D -> 2D). Finally, a Texture-Enhancing Discriminator refines the 3D scene to achieve high photometric realism (2D -> 3D). Experiments show that CoIn, effectively leveraging bidirectional information flow, achieves state-of-the-art performance and effectively handles both object removal and object insertion with flexible mask input.
- Abstract（参考訳）: 3Dシーンの塗布は, 咬合や限られた視点によって破損した領域の再構築に不可欠である。
近年の手法では、3次元の効率的な編集にガウススプラッティング(GS)を利用しているが、しばしば正確な多視点セグメンテーションマスクに依存しており、本来はオブジェクト除去タスクに制約されている。
マルチステージ一貫性パイプラインを通じて2Dインペイントモデルと3DGSをブリッジする新しいフレームワークであるCoInを提案する。
提案手法は,まず拡散モデルを用いて初期塗膜画像を生成し,任意の形状のマスクと物体挿入などの多様なタスクを使用できる。
次に、参照ビュー(2D ->3D)に適応的に重み付けすることで、粗い3Dシーンを再構成するための特徴注意を伴う参照適応GSを紹介する。
この3D表現は、GSベースの参照特徴ワープによる拡散過程の幾何学的ガイダンスを提供し、多視点整合性(3D -> 2D)を保証する。
最後に、テクスチュアエンハンシング・ディスクリミネータが3Dシーンを洗練し、高光度リアリズム(2D ->3D)を実現する。
実験により、CoInは双方向情報フローを効果的に活用し、最先端の性能を実現し、フレキシブルマスク入力によるオブジェクト除去とオブジェクト挿入の両方を効果的に処理することを示した。
関連論文リスト
- Benchmarking Single-Step Inpainting Methods for Multi-Object 3D Gaussian Splatting Scenes [43.95837214164744]
再構成に基づくインペーターは3次元整合性における生成拡散モデルより優れる。
最先端の2Dインパタイトを用いて, 3Dセッティングにおいて, 被写体除去の重要性を浮き彫りにするために, 簡単なベースラインを作成する。
論文 参考訳（メタデータ） (2026-05-29T08:24:16Z) - Robust Prior-Guided Segmentation for Editable 3D Gaussian Splatting [6.290910602456353]
2Dセグメンテーションを3Dドメインに持ち上げる既存のアプローチは、視界の不整合と粗いマスクに悩まされている。
本稿では,Segment Anything Model High Qualityを利用して正確な2次元マスクを生成する新しいフレームワークを提案する。
提案手法は最先端のセグメンテーション精度を実現し,高視力を維持しながらインタラクティブなリアルタイムオブジェクト編集を可能にする。
論文 参考訳（メタデータ） (2026-05-15T15:29:30Z) - A Controllable 3D Deepfake Generation Framework with Gaussian Splatting [6.969908558294805]
本稿では,3次元ガウススプラッティングに基づく新しい3次元ディープフェイク生成フレームワークを提案する。
完全に制御可能な3D空間において、現実的でアイデンティティを保った顔スワッピングと再現を可能にする。
提案手法は3次元モデリングとディープフェイク合成のギャップを埋め、シーン認識、制御可能、没入型視覚的偽造の新しい方向を可能にする。
論文 参考訳（メタデータ） (2025-09-15T06:34:17Z) - DiGA3D: Coarse-to-Fine Diffusional Propagation of Geometry and Appearance for Versatile 3D Inpainting [10.515239541326737]
単一の参照インペインティングメソッドは、参照ビューから離れたビューを扱う場合、堅牢性に欠ける。
出現不整合は、独立に2次元拡散先行のマルチビュー画像に着色するときに生じる。
DiGA3Dは拡散モデルを用いて、一貫した外観と幾何学を粗い方法で伝播する。
論文 参考訳（メタデータ） (2025-07-01T04:57:08Z) - Visibility-Uncertainty-guided 3D Gaussian Inpainting via Scene Conceptional Learning [63.94919846010485]
3DGI)は、複数の入力ビューから補完的な視覚的・意味的手がかりを効果的に活用することが困難である。
本稿では,異なる入力ビュー間での3Dポイントの視認性不確実性を計測し,それらを用いて3DGIを誘導する手法を提案する。
ViSibility-uncerTainty-guided 3DGIとシーンコンセプトAl学習を統合し,新しい3DGIフレームワークであるVISTAを構築した。
論文 参考訳（メタデータ） (2025-04-23T06:21:11Z) - Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳（メタデータ） (2024-03-14T07:39:59Z) - Magic123: One Image to High-Quality 3D Object Generation Using Both 2D
and 3D Diffusion Priors [104.79392615848109]
Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。
最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。
第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
論文 参考訳（メタデータ） (2023-06-30T17:59:08Z) - Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud
Pre-training [65.75399500494343]
Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。
自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
論文 参考訳（メタデータ） (2023-02-27T17:56:18Z) - SSR-2D: Semantic 3D Scene Reconstruction from 2D Images [54.46126685716471]
本研究では,3Dアノテーションを使わずにセマンティックなシーン再構成を行う中心的な3Dシーンモデリングタスクについて検討する。
提案手法の鍵となる考え方は,不完全な3次元再構成と対応するRGB-D画像の両方を用いたトレーニング可能なモデルの設計である。
本研究では,2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetに対して,セマンティックシーン補完の最先端性能を実現する。
論文 参考訳（メタデータ） (2023-02-07T17:47:52Z) - Cross-Modal 3D Shape Generation and Manipulation [62.50628361920725]
本稿では,2次元のモダリティと暗黙の3次元表現を共用した多モード生成モデルを提案する。
グレースケールラインスケッチとレンダリングカラー画像の2つの代表的な2次元モーダル性について,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2022-07-24T19:22:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。