論文の概要: HOMER: Homography-Based Efficient Multi-view 3D Object Removal

• arxiv url: http://arxiv.org/abs/2501.17636v3
• Date: Mon, 14 Apr 2025 15:39:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 19:48:45.604603
• Title: HOMER: Homography-Based Efficient Multi-view 3D Object Removal
• Title（参考訳）: HOMER: ホログラフィーに基づく多視点3Dオブジェクトの効率的な除去
• Authors: Jingcheng Ni, Weiguang Zhao, Daniel Wang, Ziyao Zeng, Chenyu You, Alex Wong, Kaizhu Huang,
• Abstract要約: 3Dオブジェクトの除去は、3Dシーン編集において重要なサブタスクであり、シーン理解、拡張現実、ロボット工学に広く応用されている。 既存の手法は、複数ビュー設定における一貫性、ユーザビリティ、計算効率の相違点を達成するのに苦労する。 マルチビューオブジェクトマスク生成とインペイントの質と効率を向上する新しいパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 25.832938786291358
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: 3D object removal is an important sub-task in 3D scene editing, with broad applications in scene understanding, augmented reality, and robotics. However, existing methods struggle to achieve a desirable balance among consistency, usability, and computational efficiency in multi-view settings. These limitations are primarily due to unintuitive user interaction in the source view, inefficient multi-view object mask generation, computationally expensive inpainting procedures, and a lack of applicability across different radiance field representations. To address these challenges, we propose a novel pipeline that improves the quality and efficiency of multi-view object mask generation and inpainting. Our method introduces an intuitive region-based interaction mechanism in the source view and eliminates the need for camera poses or extra model training. Our lightweight HoMM module is employed to achieve high-quality multi-view mask propagation with enhanced efficiency. In the inpainting stage, we further reduce computational costs by performing inpainting only on selected key views and propagating the results to other views via homography-based mapping. Our pipeline is compatible with a variety of radiance field frameworks, including NeRF and 3D Gaussian Splatting, demonstrating improved generalizability and practicality in real-world scenarios. Additionally, we present a new 3D multi-object removal dataset with greater object diversity and viewpoint variation than existing datasets. Experiments on public benchmarks and our proposed dataset show that our method achieves state-of-the-art performance while reducing runtime to one-fifth of that required by leading baselines.
• Abstract（参考訳）: 3Dオブジェクトの除去は、3Dシーン編集において重要なサブタスクであり、シーン理解、拡張現実、ロボット工学に広く応用されている。 しかし,既存の手法では,複数ビュー設定における一貫性,ユーザビリティ,計算効率のバランスの確保に苦慮している。 これらの制限は主に、ソースビューにおける直感的なユーザインタラクション、非効率なマルチビューオブジェクトマスク生成、計算コストのかかる塗装手順、および異なる放射場表現に対する適用性の欠如によるものである。 これらの課題に対処するために,多視点オブジェクトマスクの生成と塗装の質と効率を向上させる新しいパイプラインを提案する。 本手法では,ソースビューに直感的な領域ベースインタラクション機構を導入し,カメラポーズや余分なモデルトレーニングの必要性を解消する。 我々の軽量なHoMMモジュールは、高効率で高品質なマルチビューマスク伝搬を実現するために使用される。 塗り絵の段階では、選択したキービューにのみ塗り絵を施し、ホモグラフィに基づくマッピングによって結果を他のビューに伝播することにより、計算コストをさらに削減する。 我々のパイプラインは、NeRFや3D Gaussian Splattingなど、様々な放射場フレームワークと互換性があり、現実世界のシナリオにおける一般化性と実用性の向上を実証している。 さらに,既存のデータセットよりもオブジェクトの多様性や視点の変化が大きい新しい3次元多対象除去データセットを提案する。 公開ベンチマークと提案したデータセットを用いた実験により,本手法は最先端の性能を達成しつつ,ベースラインのリードによって要求される実行時間を1/5に短縮することを示す。

関連論文リスト

• IMFine: 3D Inpainting via Geometry-guided Multi-view Refinement [15.206470606085341]
  そこで我々は,一貫した視覚的品質とコヒーレントな基礎構造を持つ3Dシーンをインペイントする新しい手法を提案する。 具体的には,幾何学的先行点と,テスト時間適応により学習した多視点改善ネットワークを組み込んだ3次元インペイントパイプラインを提案する。 本研究では,対象マスクを対象マスクから抽出する新しい塗装マスク検出手法を開発し,制約のないシーンの処理性能を向上させる。
  論文  参考訳（メタデータ） (2025-03-06T14:50:17Z)
• MObI: Multimodal Object Inpainting Using Diffusion Models [52.07640413626605]
  マルチモーダル・オブジェクト・インペイントのための新しいフレームワークであるMObIを紹介する。 単一の参照RGBイメージを使用して、MObIは既存のマルチモーダルシーンにオブジェクトをシームレスに挿入できる。 マスクの編集だけに頼っている従来の塗り絵とは違って、3Dバウンディングボックスコンディショニングは、オブジェクトの正確な空間的位置決めとリアルなスケーリングを可能にします。
  論文  参考訳（メタデータ） (2025-01-06T17:43:26Z)
• IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
  画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。 従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。 IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
  論文  参考訳（メタデータ） (2024-12-16T18:52:56Z)
• Flex3D: Feed-Forward 3D Generation With Flexible Reconstruction Model And Input View Curation [61.040832373015014]
  テキスト, 単一画像, スパース画像から高品質な3Dコンテンツを生成するための新しいフレームワークFlex3Dを提案する。 我々は、微調整された多視点画像拡散モデルとビデオ拡散モデルを用いて、候補視のプールを生成し、ターゲット3Dオブジェクトのリッチな表現を可能にする。 第2段階では、キュレートされたビューは、任意の数の入力を効果的に処理できるトランスフォーマーアーキテクチャ上に構築されたフレキシブルリコンストラクションモデル(FlexRM)に入力されます。
  論文  参考訳（メタデータ） (2024-10-01T17:29:43Z)
• Generative Object Insertion in Gaussian Splatting with a Multi-View Diffusion Model [15.936267489962122]
  ガウス散乱で表される3次元コンテンツに物体を挿入する新しい手法を提案する。 提案手法では,事前学習した安定した映像拡散モデルに基づいて,MVInpainterと呼ばれる多視点拡散モデルを導入する。 MVInpainterの内部では、制御されたより予測可能なマルチビュー生成を可能にする制御ネットベースの条件付きインジェクションモジュールが組み込まれている。
  論文  参考訳（メタデータ） (2024-09-25T13:52:50Z)
• MAIR++: Improving Multi-view Attention Inverse Rendering with Implicit Lighting Representation [17.133440382384578]
  マルチビュー画像を用いてシーンを幾何学、SVBRDF、3次元空間的に変化する照明に分解するシーンレベルの逆レンダリングフレームワークを提案する。 MAIR(Multi-view Attention Inverse Rendering)と呼ばれる新しいフレームワークが最近導入され、シーンレベルの逆レンダリングの品質が向上した。
  論文  参考訳（メタデータ） (2024-08-13T08:04:23Z)
• ObjectCarver: Semi-automatic segmentation, reconstruction and separation of 3D objects [44.38881095466177]
  複数の画像から3次元表面を再構成する際、暗黙の神経磁場は顕著な進歩を遂げた。 これまでの研究は、署名された距離フィールドを個別に訓練するフレームワークを導入して、この問題に対処しようと試みてきた。 一つのビューで単に入力をクリックすることからオブジェクト分離の問題に取り組むために、ObjectCarverというメソッドを導入します。
  論文  参考訳（メタデータ） (2024-07-26T22:13:20Z)
• A bioinspired three-stage model for camouflaged object detection [8.11866601771984]
  本稿では,1回の繰り返しで粗い部分分割を可能にする3段階モデルを提案する。 本モデルでは, 3つのデコーダを用いて, サブサンプル特徴, 収穫特徴, および高解像度のオリジナル特徴を逐次処理する。 我々のネットワークは、不要な複雑さを伴わずに最先端のCNNベースのネットワークを上回る。
  論文  参考訳（メタデータ） (2023-05-22T02:01:48Z)
• OR-NeRF: Object Removing from 3D Scenes Guided by Multiview Segmentation with Neural Radiance Fields [53.32527220134249]
  ニューラル・レージアンス・フィールド(NeRF)の出現により,3次元シーン編集への関心が高まっている。 現在の手法では、時間を要するオブジェクトのラベル付け、特定のターゲットを削除する能力の制限、削除後のレンダリング品質の妥協といった課題に直面している。 本稿では, OR-NeRF と呼ばれる新しいオブジェクト除去パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-17T18:18:05Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation [55.9577535403381]
  本稿では,未ラベルのシーンの多視点画像のみを考慮し,再構成中の3次元オブジェクトのセグメント化に新たなアプローチを提案する。 提案手法の核となるのは,2方向光度損失を持つ個々の物体の放射界に対する新しい伝搬戦略である。 我々の知る限り、RFPはニューラルレイディアンスフィールド(NeRF)のための3次元シーンオブジェクトセグメンテーションに取り組むための最初の教師なしアプローチである。
  論文  参考訳（メタデータ） (2022-10-02T11:14:23Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)
• Objects are Different: Flexible Monocular 3D Object Detection [87.82253067302561]
  そこで本研究では,乱れたオブジェクトを明示的に分離し,オブジェクト深度推定のための複数のアプローチを適応的に組み合わせたモノクル3次元オブジェクト検出のためのフレキシブルなフレームワークを提案する。 実験の結果,本手法はkittiベンチマークテストセットにおいて,中等度レベルが27%,硬度が30%と,最先端法を27%上回った。
  論文  参考訳（メタデータ） (2021-04-06T07:01:28Z)
• Self-supervised Human Detection and Segmentation via Multi-view Consensus [116.92405645348185]
  本稿では,トレーニング中に幾何学的制約を多視点一貫性という形で組み込むマルチカメラフレームワークを提案する。 本手法は,標準ベンチマークから視覚的に外れた画像に対して,最先端の自己監視的人物検出とセグメンテーション技術に勝ることを示す。
  論文  参考訳（メタデータ） (2020-12-09T15:47:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。