論文の概要: SERF: Fine-Grained Interactive 3D Segmentation and Editing with Radiance Fields

• arxiv url: http://arxiv.org/abs/2312.15856v2
• Date: Thu, 31 Oct 2024 14:48:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:30.185054
• Title: SERF: Fine-Grained Interactive 3D Segmentation and Editing with Radiance Fields
• Title（参考訳）: SERF: 微粒な対話型3Dセグメンテーションとラジアンスフィールドによる編集
• Authors: Kaichen Zhou, Lanqing Hong, Enze Xie, Yongxin Yang, Zhenguo Li, Wei Zhang,
• Abstract要約: 放射場を用いた対話型3Dセグメンテーションと編集アルゴリズムを新たに導入し,これをSERFと呼ぶ。 提案手法では,マルチビューアルゴリズムと事前学習した2Dモデルを統合することにより,ニューラルネットワーク表現を生成する。 この表現に基づいて,局所的な情報を保存し,変形に頑健な新しい表面レンダリング技術を導入する。
• 参考スコア（独自算出の注目度）: 92.14328581392633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although significant progress has been made in the field of 2D-based interactive editing, fine-grained 3D-based interactive editing remains relatively unexplored. This limitation can be attributed to two main challenges: the lack of an efficient 3D representation robust to different modifications and the absence of an effective 3D interactive segmentation method. In this paper, we introduce a novel fine-grained interactive 3D segmentation and editing algorithm with radiance fields, which we refer to as SERF. Our method entails creating a neural mesh representation by integrating multi-view algorithms with pre-trained 2D models. Building upon this representation, we introduce a novel surface rendering technique that preserves local information and is robust to deformation. Moreover, this representation forms the basis for achieving accurate and interactive 3D segmentation without requiring 3D supervision. Harnessing this representation facilitates a range of interactive 3D editing operations, encompassing tasks such as interactive geometry editing and texture painting. Extensive experiments and visualization examples of editing on both real and synthetic data demonstrate the superiority of our method on representation quality and editing ability.
• Abstract（参考訳）: 2Dベースのインタラクティブ編集の分野では大きな進歩があったが、細粒度の3Dベースのインタラクティブ編集はいまだに研究されていない。 この制限は、異なる修正に対して堅牢な効率的な3D表現の欠如と、効果的な3Dインタラクティブセグメンテーション手法の欠如の2つの主な課題に起因する。 本稿では,SERFと呼ばれる放射場を用いた対話型3次元セグメンテーション・編集アルゴリズムについて紹介する。 提案手法では,マルチビューアルゴリズムと事前学習した2Dモデルを統合することにより,ニューラルネットワーク表現を生成する。 この表現に基づいて,局所的な情報を保存し,変形に頑健な新しい表面レンダリング技術を導入する。 さらに、この表現は、3Dの監督を必要とせず、正確でインタラクティブな3Dセグメンテーションを実現するための基盤を形成する。 この表現の調和は、インタラクティブな幾何学的編集やテクスチャ描画といったタスクを含む、インタラクティブな3D編集操作を促進する。 実データと合成データの両方における編集の大規模な実験と可視化例は,表現品質と編集能力における手法の優位性を実証している。

関連論文リスト

• REdiSplats: Ray Tracing for Editable Gaussian Splatting [0.0]
  レイトレーシングとメッシュによるフラットな3Dガウス表現を用いたREdiSplatsを紹介する。 実際、メッシュによってパラメータ化された平坦なガウス分布を用いてシーンをモデル化する。 BlenderやNvdiffrastといった3Dツールを使ってモデルをレンダリングすることで、既存のすべての3Dグラフィックス技術と統合することが可能になる。
  論文  参考訳（メタデータ） (2025-03-15T22:42:21Z)
• MeshPad: Interactive Sketch-Conditioned Artist-Designed Mesh Generation and Editing [64.84885028248395]
  MeshPadは、スケッチ入力から3Dメッシュを生成するジェネレーティブなアプローチである。 我々は、メッシュの領域の"削除"に編集を分解し、新しいメッシュ幾何学の"追加"に続き、一貫した編集を可能にすることに重点を置いている。 提案手法は,メッシュ三角形の追加と削除のために,大規模なTransformerモデルを利用した三角形列に基づくメッシュ表現に基づいている。
  論文  参考訳（メタデータ） (2025-03-03T11:27:44Z)
• MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering [61.64903786502728]
  本稿では,メッシュ表現を3次元ガウススプラットと統合し,再現された現実世界のシーンの高品質なレンダリングを実現する手法を提案する。 各ガウススプレートとメッシュ表面との距離を, 密接な束縛と緩い束縛の相違点として検討した。 提案手法は,2dB高いPSNRを達成し,メッシュベースのガウス分割法を1.3dBPSNRで上回った。
  論文  参考訳（メタデータ） (2024-10-11T16:07:59Z)
• HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
  HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。 階層的な3Dガウスを粗大な戦略で生成する。 これにより、再構築品質とデータセット間の一般化が大幅に向上する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:32Z)
• Towards Realistic Example-based Modeling via 3D Gaussian Stitching [31.710954782769377]
  サンプル誘導合成を用いた点ベース表現における複数のガウス場を組み合わせた例に基づくモデリング手法を提案する。 具体的には、構成について、複数のフィールドをリアルタイムでセグメント化し変換するGUIを作成し、意味論的に意味のあるモデルの合成を容易に得る。 テクスチャブレンディングでは、3DGSの離散的および不規則な性質のため、SeamlssNeRFがサポートされないため、直接勾配伝播を適用する。
  論文  参考訳（メタデータ） (2024-08-28T11:13:27Z)
• Chat-Edit-3D: Interactive 3D Scene Editing via Text Prompts [76.73043724587679]
  CE3Dと呼ばれる対話型3Dシーン編集手法を提案する。 Hash-Atlasは3Dシーンビューを表し、3Dシーンの編集を2Dアトラスイメージに転送する。 その結果、CE3Dは複数の視覚モデルを効果的に統合し、多様な視覚効果が得られることを示した。
  論文  参考訳（メタデータ） (2024-07-09T13:24:42Z)
• DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
  DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。 我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
  論文  参考訳（メタデータ） (2024-05-09T14:34:05Z)
• Reference-Based 3D-Aware Image Editing with Triplanes [15.222454412573455]
  GAN(Generative Adversarial Networks)は、高品質な画像生成と、潜伏空間を操作することで実際の画像編集のための強力なツールとして登場した。 GANの最近の進歩には、EG3Dのような3次元認識モデルが含まれており、単一の画像から3次元幾何学を再構築できる効率的な三面体ベースのアーキテクチャを備えている。 本研究では,先進的な参照ベース編集における三面体空間の有効性を探索し,実証することにより,このギャップを解消する。
  論文  参考訳（メタデータ） (2024-04-04T17:53:33Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.56357905500512]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)
• Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
  カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。 歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。 私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
  論文  参考訳（メタデータ） (2023-12-11T18:59:31Z)
• Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
  ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。 暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
  論文  参考訳（メタデータ） (2023-12-01T17:09:31Z)
• GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting [66.08674785436612]
  3D編集は、ゲームや仮想現実など、多くの分野で重要な役割を担っている。 メッシュやポイントクラウドのような表現に依存した従来の3D編集手法は、複雑なシーンを現実的に描写するのに不足することが多い。 本稿では,新しい3D表現であるGaussian Splatting(GS)に基づく,革新的で効率的な3D編集アルゴリズムであるGaussianEditorを提案する。
  論文  参考訳（メタデータ） (2023-11-24T14:46:59Z)
• Scene-Generalizable Interactive Segmentation of Radiance Fields [64.37093918762]
  我々はSGISRF(Scene-Generalizable Interactive in Radiance Fields)の最初の試みを行う。 そこで本研究では,複数視点の2D画像に対して,対話的なユーザクリック数回しか表示されない,新しい(見えない)シーンの3Dオブジェクトセグメンテーションを実現するSGISRF手法を提案する。 多様なシーンをカバーする2つの実世界の挑戦的ベンチマーク実験は,1) 提案手法の有効性とシーン一般化性を示し,2) シーン固有の最適化を必要とする古典的手法と比較して良好な性能を示した。
  論文  参考訳（メタデータ） (2023-08-09T17:55:50Z)
• 3Deformer: A Common Framework for Image-Guided Mesh Deformation [27.732389685912214]
  ソース3Dメッシュにセマンティック素材とユーザが指定したセマンティックイメージが与えられた場合、3Deformerはソースメッシュを正確に編集することができる。 私たちの3Deformerは素晴らしい結果をもたらし、最先端のレベルに達することができます。
  論文  参考訳（メタデータ） (2023-07-19T10:44:44Z)
• Vox-E: Text-guided Voxel Editing of 3D Objects [14.88446525549421]
  大規模テキスト誘導拡散モデルが注目されているのは、多様な画像を合成できるためである。 本稿では,既存の3次元オブジェクトの編集に潜時拡散モデルのパワーを利用する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-21T17:36:36Z)
• 3D Neural Sculpting (3DNS): Editing Neural Signed Distance Functions [34.39282814876276]
  本研究では,ニューラルネットワークを用いて表現された符号付き距離関数の対話的編集を行う手法を提案する。 メッシュのための3D彫刻ソフトウェアにインスパイアされた私たちは、直感的で将来彫刻家やデジタルアーティストが利用できるブラシベースのフレームワークを使用しています。
  論文  参考訳（メタデータ） (2022-09-28T10:05:16Z)
• MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
  そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。 複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。 その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
  論文  参考訳（メタデータ） (2022-08-18T00:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。