論文の概要: SemDynReg: Semantics-Guided Deformation Regularization for Dynamic 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2606.28656v1
- Date: Sat, 27 Jun 2026 00:18:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.63254
- Title: SemDynReg: Semantics-Guided Deformation Regularization for Dynamic 3D Gaussian Splatting
- Title（参考訳）: SemDynReg:動的3次元ガウス平滑化のための意味誘導変形規則化
- Abstract要約: 本稿では,オブジェクトレベルでの動的正規化を実現するセマンティクス誘導フレームワークを提案する。
動的3DGSレンダリングにおいて,PSNRとSSIMが向上し,LPIPSが低下する。
- 参考スコア（独自算出の注目度）: 1.1934335703226404
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deformable 3D Gaussian Splatting (3DGS) has emerged as an efficient approach for rendering dynamic scenes in a wide range of 3D applications. However, existing deformation field-based approaches largely lack explicit object-level modeling, often resulting in inconsistent Gaussian deformations within individual objects and unwanted coupling between different objects. To address this limitation, we introduce a semantics-guided framework that enforces dynamic regularization at the object level, aiming to achieve spatially consistent object-wise deformation. Specifically, we first extract segmentation masks using the Segment Anything Model (SAM) and derive semantic features from input images. An object-ID map is then constructed via feature relevance matching with a predefined object dictionary. Guided by this object-ID map, we identify the pixel-wise top-k contributing Gaussians for each object and impose consistency regularization on their deformation parameters, including position, scale, and rotation. Unlike prior methods that learn deformation fields without explicit object-level constraints, our approach incorporates semantic cues to guide deformation behavior at the object level. Experimental results demonstrate that our semantics-aware regularization improves object-level deformation consistency and outperforms baseline methods in rendering quality, achieving higher PSNR and SSIM and lower LPIPS in dynamic 3DGS rendering. Our project page is available at https://dyn-reg-3dgs.github.io/.
- Abstract（参考訳）: Deformable 3D Gaussian Splatting (3DGS)は、様々な3Dアプリケーションで動的シーンをレンダリングするための効率的なアプローチとして登場した。
しかし、既存の変形場に基づくアプローチは明らかにオブジェクトレベルのモデリングを欠いているため、しばしば個々のオブジェクト内でのガウス変形と異なるオブジェクト間の不要な結合が生じる。
この制限に対処するため,オブジェクトレベルでの動的正規化を強制するセマンティクス誘導フレームワークを導入し,空間的に一貫したオブジェクト指向変形を実現する。
具体的には、まずセグメンテーションマスクをSAM(Segment Anything Model)を用いて抽出し、入力画像から意味的特徴を導出する。
オブジェクトIDマップは、事前に定義されたオブジェクト辞書と特徴関連マッチングによって構築される。
このオブジェクトIDマップにより、各オブジェクトにガウスを寄与させる画素ワイドのトップkを特定し、位置、スケール、回転を含むそれらの変形パラメータに整合正則化を課す。
対象レベルの制約を明示せずに変形場を学習する従来の手法とは異なり,本手法は対象レベルの変形挙動を導く意味的手がかりを取り入れている。
実験により,我々のセマンティクスを意識した正規化により,オブジェクトレベルの変形の一貫性が向上し,ベースライン手法のレンダリング精度が向上し,PSNRおよびSSIMが向上し,3DGSの動的レンダリングにおけるLPIPSが低下することが確認された。
私たちのプロジェクトページはhttps://dyn-reg-3dgs.github.io/で公開されています。
関連論文リスト
- SEMAGIC: Learning Semantically Consistent Deformable 3D Representations from In-the-Wild Images [32.19024127550901]
ワンビューインザミルド画像から変形可能な3Dオブジェクトモデルを学習することで、監督なしで印象的な3D形状復元が可能になった。
本稿では,一眼レフ画像から意味的に一貫した変形可能な3次元表現を学習するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-27T04:18:06Z) - Joint Semantic and Rendering Enhancements in 3D Gaussian Modeling with Anisotropic Local Encoding [86.55824709875598]
本稿では,セマンティックとレンダリングの両方を相乗化する3次元セマンティックガウスモデリングのための統合拡張フレームワークを提案する。
従来の点雲形状符号化とは異なり、細粒度3次元形状を捉えるために異方性3次元ガウシアン・チェビシェフ記述子を導入する。
我々は、学習した形状パターンを継続的に更新するために、クロスシーンの知識伝達モジュールを使用し、より高速な収束と堅牢な表現を可能にします。
論文 参考訳（メタデータ） (2026-01-05T18:33:50Z) - IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。
本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
論文 参考訳（メタデータ） (2025-10-26T14:57:44Z) - PIG: Physically-based Multi-Material Interaction with 3D Gaussians [14.097146027458368]
PIG: 3次元ガウシアンとの物理的に基いた多元的相互作用は、3次元物体のセグメンテーションと高精度に相互作用する物体のシミュレーションを組み合わせた新しいアプローチである。
本手法は,映像品質の面では最先端技術(SOTA)よりも優れるだけでなく,物理的に現実的なシーン生成の分野での新たな方向やパイプラインも開放することを示す。
論文 参考訳（メタデータ） (2025-06-09T11:25:21Z) - IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。
マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。
次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
論文 参考訳（メタデータ） (2025-04-09T12:36:48Z) - Loop Closure Detection Based on Object-level Spatial Layout and Semantic
Consistency [14.694754836704819]
本稿では3次元シーングラフの空間的レイアウトとセマンティック一貫性に基づくオブジェクトベースのループ閉包検出手法を提案する。
実験により,提案手法によりより正確な3次元意味マップを構築可能であることが示された。
論文 参考訳（メタデータ） (2023-04-11T11:20:51Z) - Explicit3D: Graph Network with Spatial Inference for Single Image 3D
Object Detection [35.85544715234846]
本稿では,オブジェクトの幾何学的特徴と意味論的特徴に基づいて,Explicit3Dという動的スパースグラフパイプラインを提案する。
SUN RGB-Dデータセットによる実験結果から,我々のExplicit3Dは最先端技術よりも優れた性能バランスを実現することが示された。
論文 参考訳（メタデータ） (2023-02-13T16:19:54Z) - Generative Category-Level Shape and Pose Estimation with Semantic
Primitives [27.692997522812615]
本稿では,1枚のRGB-D画像からカテゴリレベルのオブジェクト形状とポーズ推定を行う新しいフレームワークを提案する。
カテゴリ内変動に対処するために、様々な形状を統一された潜在空間にエンコードするセマンティックプリミティブ表現を採用する。
提案手法は,実世界のデータセットにおいて,SOTAのポーズ推定性能とより優れた一般化を実現する。
論文 参考訳（メタデータ） (2022-10-03T17:51:54Z) - Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。
本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。
本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
論文 参考訳（メタデータ） (2021-12-14T13:14:24Z) - Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。
我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。
深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
論文 参考訳（メタデータ） (2021-08-10T12:19:34Z) - Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。
提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2020-06-15T09:15:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。