論文の概要: ArtGS: Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2502.19459v2
- Date: Wed, 19 Mar 2025 08:43:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-20 15:19:28.577626
- Title: ArtGS: Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting
- Title（参考訳）: ArtGS:Gaussian Splattingによる複雑なアーティキュレートされた物体の相互作用可能なレプリカの構築
- Authors: Yu Liu, Baoxiong Jia, Ruijie Lu, Junfeng Ni, Song-Chun Zhu, Siyuan Huang,
- Abstract要約: コンピュータビジョンにおいて、音声で表現されたオブジェクトを構築することが重要な課題である。
既存のメソッドは、しばしば異なるオブジェクト状態間で効果的に情報を統合できない。
3次元ガウスを柔軟かつ効率的な表現として活用する新しいアプローチであるArtGSを紹介する。
- 参考スコア（独自算出の注目度）: 66.29782808719301
- License:
- Abstract: Building articulated objects is a key challenge in computer vision. Existing methods often fail to effectively integrate information across different object states, limiting the accuracy of part-mesh reconstruction and part dynamics modeling, particularly for complex multi-part articulated objects. We introduce ArtGS, a novel approach that leverages 3D Gaussians as a flexible and efficient representation to address these issues. Our method incorporates canonical Gaussians with coarse-to-fine initialization and updates for aligning articulated part information across different object states, and employs a skinning-inspired part dynamics modeling module to improve both part-mesh reconstruction and articulation learning. Extensive experiments on both synthetic and real-world datasets, including a new benchmark for complex multi-part objects, demonstrate that ArtGS achieves state-of-the-art performance in joint parameter estimation and part mesh reconstruction. Our approach significantly improves reconstruction quality and efficiency, especially for multi-part articulated objects. Additionally, we provide comprehensive analyses of our design choices, validating the effectiveness of each component to highlight potential areas for future improvement. Our work is made publicly available at: https://articulate-gs.github.io.
- Abstract（参考訳）: コンピュータビジョンにおいて、音声で表現されたオブジェクトを構築することが重要な課題である。
既存の手法は、しばしば異なるオブジェクト状態の情報を効果的に統合することができず、特に複雑な複数部分の明瞭なオブジェクトに対して、部分メシュ再構成と部分ダイナミクスモデリングの精度を制限している。
ArtGSは、3Dガウスを柔軟かつ効率的な表現として活用し、これらの問題に対処する新しいアプローチである。
提案手法では,粗大な初期化と異なる対象状態にまたがる調音部分情報の整列を行うための更新を標準ガウスに組み込んでおり,スキンニングインスパイアされたパートダイナミックスモデリングモジュールを用いて,パート・メッシュの再構築と調音学習の両面を改善する。
複合多部オブジェクトのための新しいベンチマークを含む,合成データセットと実世界のデータセットに関する大規模な実験は,ArtGSが関節パラメータ推定と部分メッシュ再構成で最先端のパフォーマンスを達成することを実証している。
提案手法は, 再建の質と効率を著しく向上させる。
さらに、設計選択の総合的な分析を行い、各コンポーネントの有効性を検証し、今後の改善の可能性を強調します。
私たちの作業は、https://articulate-gs.github.io.comで公開されています。
関連論文リスト
- Collaborative Learning for 3D Hand-Object Reconstruction and Compositional Action Recognition from Egocentric RGB Videos Using Superquadrics [31.819336585007104]
境界ボックスに対する3次元オブジェクト表現の代替としてスーパークワッドリックを活用することを提案する。
テンプレートレスオブジェクト再構成とアクション認識の両タスクで有効性を示す。
また,動詞と名詞の訓練組み合わせがテスト分割と重複しない,より困難な課題を考慮し,行動の構成性についても検討した。
論文 参考訳（メタデータ） (2025-01-13T07:26:05Z) - SADG: Segment Any Dynamic Gaussian Without Object Trackers [39.77468734311312]
SADG(Segment Any Dynamic Gaussian Without Object Trackers)は、オブジェクトIDに依存しない動的ガウス分割表現と意味情報を組み合わせた新しいアプローチである。
我々は,Segment Anything Model(SAM)から生成されるマスクを活用し,ハードピクセルマイニングに基づく新しいコントラスト学習目標を活用することで,意味論的特徴を学習する。
提案したベンチマーク上でSADGを評価し,動的シーン内のオブジェクトのセグメンテーションにおけるアプローチの優れた性能を示す。
論文 参考訳（メタデータ） (2024-11-28T17:47:48Z) - Dynamic Reconstruction of Hand-Object Interaction with Distributed Force-aware Contact Representation [52.36691633451968]
ViTaM-Dは動的手動物体相互作用再構成のための視覚触覚フレームワークである。
DF-Fieldは分散力認識型接触表現モデルである。
剛性および変形性のある物体再構成におけるViTaM-Dの優れた性能について検討した。
論文 参考訳（メタデータ） (2024-11-14T16:29:45Z) - REACTO: Reconstructing Articulated Objects from a Single Video [64.89760223391573]
関節の柔軟な変形を維持しつつ各部の剛性を向上する新しい変形モデルを提案する。
提案手法は, 従来よりも高忠実度な3D再構成を実現する上で, 従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-04-17T08:01:55Z) - SM$^3$: Self-Supervised Multi-task Modeling with Multi-view 2D Images
for Articulated Objects [24.737865259695006]
そこで本研究では, SM$3$と呼ばれる自己教師型相互作用認識手法を提案する。
取得した2次元画像から3次元の幾何学とテクスチャを構築することで、SM$3$は可動部と関節パラメータの統合最適化を実現する。
SM$3$は、様々なカテゴリやオブジェクトにわたる既存のベンチマークを上回り、実際のシナリオにおける適応性は、徹底的に検証されている。
論文 参考訳（メタデータ） (2024-01-17T11:15:09Z) - Complex-Valued Autoencoders for Object Discovery [62.26260974933819]
本稿では,オブジェクト中心表現に対する分散アプローチとして,複合オートエンコーダを提案する。
このシンプルで効率的なアプローチは、単純なマルチオブジェクトデータセット上の等価な実数値オートエンコーダよりも、より良い再構成性能を実現することを示す。
また、2つのデータセット上のSlotAttentionモデルと競合しないオブジェクト発見性能を実現し、SlotAttentionが失敗する第3のデータセットでオブジェクトをアンタングルする。
論文 参考訳（メタデータ） (2022-04-05T09:25:28Z) - Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。
再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。
本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
論文 参考訳（メタデータ） (2021-03-30T17:57:01Z) - Joint Hand-object 3D Reconstruction from a Single Image with
Cross-branch Feature Fusion [78.98074380040838]
特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。
入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。
提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
論文 参考訳（メタデータ） (2020-06-28T09:50:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。