論文の概要: Pose-Free Feed-Forward 3D Inpainting via Learnable Mask Attention and Support Token Refinement

• arxiv url: http://arxiv.org/abs/2610.11857v1
• Date: Thu, 08 Oct 2026 12:38:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.026594
• Title: Pose-Free Feed-Forward 3D Inpainting via Learnable Mask Attention and Support Token Refinement
• Title（参考訳）: 学習可能なマスクアテンションと支援トークンリファインメントによるフィードフォワード3次元ペンパインティング
• Abstract要約: 3Dシーンのインペイントは、編集された3Dシーンで欠落した領域や閉鎖された領域を回復することを目的としている。 提案するFreeInpaintは、未提示のマルチビュー画像から直接、完全かつ3D一貫性のあるシーンを生成する新しいフィードフォワードフレームワークである。 本手法は,フィードフォワード3次元基礎モデルをマスク入力に適用する際の2つの課題に対処する。
• 参考スコア（独自算出の注目度）: 9.465350750875416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D scene inpainting aims to recover missing or occluded regions in edited 3D scenes, while ensuring geometric and textural consistency. Existing approaches, however, typically require accurately calibrated camera poses, which restricts their applicability in casual, in-the-wild scenarios and introduces additional preprocessing overhead. To overcome this limitation, we present FreeInpaint, a novel feed-forward framework that generates complete and 3D-consistent scenes directly from unposed multi-view images with masked regions. At its core, FreeInpaint extends a 3D foundation model to propagate masked regions from a reference view to other unposed views, bridging 3D reconstruction and scene inpainting while preserving the model's native ability to recover camera poses and scene geometry. Our method addresses two key challenges in adapting feed-forward 3D foundation models to masked inputs. First, masked regions can corrupt cross-view correspondence reasoning, degrading pose estimation and geometry recovery. To address this, we introduce a Learnable Mask Attention mechanism that preserves the spatial anchoring of reliable observations while allowing masked regions to progressively absorb useful context in deeper layers. Second, under severe occlusions, a single forward pass often lacks sufficient appearance evidence for high-fidelity completion. Therefore, we propose a Support Token Refinement strategy, which injects diffusion-generated support evidence as confidence-weighted auxiliary tokens to refine under-observed regions while preserving the original spatial anchor. Extensive experiments across diverse datasets demonstrate that FreeInpaint achieves superior inpainting quality, eliminating the reliance on pre-computed camera poses while keeping a fast inference speed. The project page is https://rorisis.github.io/FreeInpaint/.
• Abstract（参考訳）: 3Dシーンの塗装は、幾何学的およびテクスチャ的整合性を確保しつつ、編集された3Dシーンの欠落した領域を回復することを目的としている。 しかし、既存のアプローチでは、通常は正確にキャリブレーションされたカメラのポーズを必要とする。 この制限を克服するため、マスク付き多視点画像から完全かつ3D一貫性のあるシーンを直接生成する新しいフィードフォワードフレームワークFreeInpaintを提案する。 コアとなるFreeInpaintは、3Dファウンデーションモデルを拡張して、マスクされた領域を参照ビューから他の未表示のビューへ伝播し、3D再構築とシーンインペインティングをブリッジし、モデルのネイティブなカメラポーズとシーン幾何学を復元する能力を維持している。 本手法は,フィードフォワード3次元基礎モデルをマスク入力に適用する際の2つの課題に対処する。 第一に、マスキングされた領域は、クロスビュー対応推論、劣化ポーズ推定、幾何回復を損なう可能性がある。 そこで本稿では,より深い層で有用なコンテキストを段階的に吸収しながら,信頼性のある観測の空間的アンカーを維持するための学習可能なマスク注意機構を提案する。 第二に、厳密な閉塞の下では、単一の前方通過は高忠実度完了の十分な証拠を欠くことが多い。 そこで,本研究では,拡散生成支援証拠を信頼度重み付き補助トークンとして注入し,本来の空間アンカーを保ちながら未保存領域を精錬する支援トークン精錬戦略を提案する。 多様なデータセットにわたる大規模な実験により、FreeInpaintは、高速な推論速度を維持しながら、事前に計算されたカメラのポーズへの依存をなくし、塗装品質の優れたことが示されている。 プロジェクトページはhttps://rorisis.github.io/FreeInpaint/。

関連論文リスト

• IMFine: 3D Inpainting via Geometry-guided Multi-view Refinement [15.206470606085341]
  そこで我々は,一貫した視覚的品質とコヒーレントな基礎構造を持つ3Dシーンをインペイントする新しい手法を提案する。 具体的には,幾何学的先行点と,テスト時間適応により学習した多視点改善ネットワークを組み込んだ3次元インペイントパイプラインを提案する。 本研究では,対象マスクを対象マスクから抽出する新しい塗装マスク検出手法を開発し,制約のないシーンの処理性能を向上させる。
  論文  参考訳（メタデータ） (2025-03-06T14:50:17Z)
• Geometry-Aware Diffusion Models for Multiview Scene Inpainting [24.963896970130065]
  我々は,異なる視点から捉えた入力画像の一部がマスクアウトされる3Dシーンのインペイントに焦点を当てた。 最近の研究は、生成モデルと3次元放射場を組み合わせることで、視点を越えて情報を融合することでこの問題に対処している。 本稿では,多視点一貫した塗装が可能な幾何認識条件生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-18T23:30:10Z)
• MVInpainter: Learning Multi-View Consistent Inpainting to Bridge 2D and 3D Editing [90.30646271720919]
  新規ビュー合成(NVS)と3D生成は、最近顕著に改善されている。 我々はMVInpainterを提案し、3D編集を多視点2Dインペインティングタスクとして再フォーマットする。 MVInpainterは、スクラッチから完全に新しいビューを生成するのではなく、参照ガイダンスで複数のビューイメージを部分的に描き込む。
  論文  参考訳（メタデータ） (2024-08-15T07:57:28Z)
• 3DFlowRenderer: One-shot Face Re-enactment via Dense 3D Facial Flow Estimation [2.048226951354646]
  本研究では、2次元法と3次元法の両方の利点を融合して、頑健な顔再現を実現する新しいワープ技術を提案する。 特徴空間に高密度な3次元顔の流れ場を生成し、深度情報のないターゲット表現に基づいて入力画像をワープする。 これにより、不整合元とターゲットの顔を再実行するための3次元幾何制御が可能となる。
  論文  参考訳（メタデータ） (2024-04-23T01:51:58Z)
• NeRFiller: Completing Scenes via Generative 3D Inpainting [113.18181179986172]
  生成3Dインパインティングによる3Dキャプチャの欠落部分を解消する手法であるNeRFillerを提案する。 関連する作品とは対照的に、前景のオブジェクトを削除するのではなく、シーンの完成に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-07T18:59:41Z)
• O$^2$-Recon: Completing 3D Reconstruction of Occluded Objects in the Scene with a Pre-trained 2D Diffusion Model [28.372289119872764]
  咬合は、RGB-Dビデオからの3D再構成において一般的な問題であり、しばしばオブジェクトの完全な再構成をブロックする。 本研究では,物体の隠れた部分の完全な表面を再構築する2次元拡散に基づくインペインティングモデルを用いて,新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:38:31Z)
• MM-3DScene: 3D Scene Understanding by Customizing Masked Modeling with Informative-Preserved Reconstruction and Self-Distilled Consistency [120.9499803967496]
  本稿では,地域統計を探索し,代表的構造化点の発見と保存を行う新しい情報保存型再構築法を提案する。 本手法は, 地域形状のモデル化に集中し, マスク復元のあいまいさを軽減できる。 マスク付き領域における情報保存型再構築と未加工領域からの連続自己蒸留を組み合わせることにより,MM-3DSceneと呼ばれる統合フレームワークが提供される。
  論文  参考訳（メタデータ） (2022-12-20T01:53:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。