論文の概要: iSegMan: Interactive Segment-and-Manipulate 3D Gaussians

• arxiv url: http://arxiv.org/abs/2505.11934v1
• Date: Sat, 17 May 2025 09:41:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.949321
• Title: iSegMan: Interactive Segment-and-Manipulate 3D Gaussians
• Title（参考訳）: iSegMan:対話型セグメンテーション&マニピュレーション3Dガウシアン
• Authors: Yian Zhao, Wanshi Xu, Ruochong Zheng, Pengchong Qiao, Chang Liu, Jie Chen,
• Abstract要約: iSegManはインタラクティブなセグメンテーションと操作のフレームワークで、どんなビューでも単純な2Dユーザーインタラクションしか必要としない。 エピポーラ誘導相互作用伝播(EIP)は、効率的でロバストな相互作用マッチングのためにエピポーラ制約を利用する。 可視性に基づくガウス投票(VGV)はSAMから2Dセグメンテーションを取得し、領域抽出を投票ゲームとしてモデル化する。
• 参考スコア（独自算出の注目度）: 5.746109453405226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The efficient rendering and explicit nature of 3DGS promote the advancement of 3D scene manipulation. However, existing methods typically encounter challenges in controlling the manipulation region and are unable to furnish the user with interactive feedback, which inevitably leads to unexpected results. Intuitively, incorporating interactive 3D segmentation tools can compensate for this deficiency. Nevertheless, existing segmentation frameworks impose a pre-processing step of scene-specific parameter training, which limits the efficiency and flexibility of scene manipulation. To deliver a 3D region control module that is well-suited for scene manipulation with reliable efficiency, we propose interactive Segment-and-Manipulate 3D Gaussians (iSegMan), an interactive segmentation and manipulation framework that only requires simple 2D user interactions in any view. To propagate user interactions to other views, we propose Epipolar-guided Interaction Propagation (EIP), which innovatively exploits epipolar constraint for efficient and robust interaction matching. To avoid scene-specific training to maintain efficiency, we further propose the novel Visibility-based Gaussian Voting (VGV), which obtains 2D segmentations from SAM and models the region extraction as a voting game between 2D Pixels and 3D Gaussians based on Gaussian visibility. Taking advantage of the efficient and precise region control of EIP and VGV, we put forth a Manipulation Toolbox to implement various functions on selected regions, enhancing the controllability, flexibility and practicality of scene manipulation. Extensive results on 3D scene manipulation and segmentation tasks fully demonstrate the significant advantages of iSegMan. Project page is available at https://zhao-yian.github.io/iSegMan.
• Abstract（参考訳）: 3DGSの効率的なレンダリングと明示的な性質は、3Dシーン操作の進歩を促進する。 しかし,既存の手法では操作領域の制御が困難であり,ユーザに対して対話的なフィードバックを与えることができないため,予期せぬ結果がもたらされることは避けられない。 直感的には、インタラクティブな3Dセグメンテーションツールを組み込むことで、この欠陥を補うことができる。 それにもかかわらず、既存のセグメンテーションフレームワークはシーン固有のパラメータトレーニングの事前処理ステップを課し、シーン操作の効率と柔軟性を制限している。 シーン操作に適した3D領域制御モジュールを信頼性の高い効率で提供するために,インタラクティブなセグメンテーションと操作型3Dガウシアン(iSegMan)を提案する。 ユーザインタラクションを他のビューに伝達するために,EIP(Epipolar-guided Interaction Propagation)を提案する。 シーン固有のトレーニングを回避して効率を維持するために、SAMから2Dセグメンテーションを取得し、ガウスの可視性に基づく2D Pixelと3Dガウスの投票ゲームとして領域抽出をモデル化する新しい可視性に基づくガウス投票(VGV)を提案する。 EIPとVGVの効率よく正確な領域制御を生かし、選択した領域に様々な機能を実装するマニピュレーション・ツールボックスを設置し、シーン操作の制御性、柔軟性、実用性を向上させる。 3Dシーン操作とセグメンテーションタスクの広範な結果は、iSegManの利点を十分に示している。 プロジェクトページはhttps://zhao-yian.github.io/iSegMan.comで公開されている。

関連論文リスト

• GaussianGraph: 3D Gaussian-based Scene Graph Generation for Open-world Scene Understanding [20.578106363482018]
  本稿では,セマンティッククラスタリングとシーングラフ生成を統合し,3DGSに基づくシーン理解を強化する新しいフレームワークを提案する。 本稿では,シーンスケールや特徴分布に動的に対応し,特徴圧縮を回避する"Control-Follow"クラスタリング戦略を提案する。 2次元基礎モデルから抽出したオブジェクト属性と空間関係を統合することでシーン表現を充実させる。
  論文  参考訳（メタデータ） (2025-03-06T02:36:59Z)
• SADG: Segment Any Dynamic Gaussian Without Object Trackers [39.77468734311312]
  SADG(Segment Any Dynamic Gaussian Without Object Trackers)は、オブジェクトIDに依存しない動的ガウス分割表現と意味情報を組み合わせた新しいアプローチである。 我々は,Segment Anything Model(SAM)から生成されるマスクを活用し,ハードピクセルマイニングに基づく新しいコントラスト学習目標を活用することで,意味論的特徴を学習する。 提案したベンチマーク上でSADGを評価し,動的シーン内のオブジェクトのセグメンテーションにおけるアプローチの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-11-28T17:47:48Z)
• Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [57.942404069484134]
  アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。 従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。 本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-09-24T17:59:56Z)
• iSeg: Interactive 3D Segmentation via Interactive Attention [14.036050263210182]
  iSegは3次元形状を分割するインタラクティブな手法である。 異なる数や種類のクリックを処理できる対話型アテンションモジュールを提案する。 我々は、iSegを異なるドメインからの無数の形状に適用し、その汎用性とユーザ仕様への忠実性を示す。
  論文  参考訳（メタデータ） (2024-04-04T05:54:19Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.56357905500512]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)
• SplatMesh: Interactive 3D Segmentation and Editing Using Mesh-Based Gaussian Splatting [86.50200613220674]
  3Dベースのインタラクティブ編集における重要な課題は、与えられたメモリ制約の下で様々な修正と高品質なビュー合成のバランスをとる効率的な表現がないことである。 SplatMeshは,3次元ガウススプラッティングと事前計算メッシュを統合した,対話型3Dセグメンテーション・編集アルゴリズムである。 単純化されたメッシュのセグメンテーションと編集により、ガウススプレートの編集も効果的に行えます。
  論文  参考訳（メタデータ） (2023-12-26T02:50:42Z)
• Scene-Generalizable Interactive Segmentation of Radiance Fields [64.37093918762]
  我々はSGISRF(Scene-Generalizable Interactive in Radiance Fields)の最初の試みを行う。 そこで本研究では,複数視点の2D画像に対して,対話的なユーザクリック数回しか表示されない,新しい(見えない)シーンの3Dオブジェクトセグメンテーションを実現するSGISRF手法を提案する。 多様なシーンをカバーする2つの実世界の挑戦的ベンチマーク実験は,1) 提案手法の有効性とシーン一般化性を示し,2) シーン固有の最適化を必要とする古典的手法と比較して良好な性能を示した。
  論文  参考訳（メタデータ） (2023-08-09T17:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。