論文の概要: Ditto: Building Digital Twins of Articulated Objects from Interaction

• arxiv url: http://arxiv.org/abs/2202.08227v1
• Date: Wed, 16 Feb 2022 18:12:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-17 15:04:06.866517
• Title: Ditto: Building Digital Twins of Articulated Objects from Interaction
• Title（参考訳）: Ditto: インタラクションによるArticulated Objectのディジタル双対構築
• Authors: Zhenyu Jiang, Cheng-Chun Hsu, Yuke Zhu
• Abstract要約: 物理オブジェクトを仮想世界へデジタル化することで、具体化されたAIと混合現実の新たな研究と応用を解き放つ可能性がある。 本研究は,仮想環境に直接インポート可能な実世界の音声オブジェクトのインタラクティブなデジタルツインを再現することに焦点を当てる。
• 参考スコア（独自算出の注目度）: 31.009703947432026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Digitizing physical objects into the virtual world has the potential to unlock new research and applications in embodied AI and mixed reality. This work focuses on recreating interactive digital twins of real-world articulated objects, which can be directly imported into virtual environments. We introduce Ditto to learn articulation model estimation and 3D geometry reconstruction of an articulated object through interactive perception. Given a pair of visual observations of an articulated object before and after interaction, Ditto reconstructs part-level geometry and estimates the articulation model of the object. We employ implicit neural representations for joint geometry and articulation modeling. Our experiments show that Ditto effectively builds digital twins of articulated objects in a category-agnostic way. We also apply Ditto to real-world objects and deploy the recreated digital twins in physical simulation. Code and additional results are available at https://ut-austin-rpl.github.io/Ditto
• Abstract（参考訳）: 物理的なオブジェクトを仮想世界へデジタル化することは、具体化されたAIと混合現実の新たな研究と応用を解き放つ可能性がある。 本研究は,仮想環境に直接インポート可能な実世界の調音物体の対話的デジタル双生児の再現に焦点をあてる。 本稿では,対話的知覚による調音物体の調音モデル推定と3次元形状再構成の学習にdittoを導入する。 相互作用の前後における関節オブジェクトの対の視覚的観察が与えられたとき、ディットーは部分レベルの幾何学を再構成し、物体の関節モデルの推定を行う。 我々は結合幾何学と調音モデリングに暗黙の神経表現を用いる。 実験の結果,dittoは有関節物体のデジタル双生児をカテゴリに依存しない方法で効果的に構築できることが判明した。 また,実世界の物体にdittoを適用し,再現したデジタル双生児を物理的シミュレーションに展開する。 コードと追加結果はhttps://ut-austin-rpl.github.io/dittoで入手できる。

関連論文リスト

• Neural Implicit Representation for Building Digital Twins of Unknown Articulated Objects [42.32306418464438]
  本稿では2つのRGBDスキャンから未知の調音物体のディジタル双対を異なる調音状態で構築する問題に対処する。 提案手法は,まず各状態におけるオブジェクトレベルの形状を再構成し,基礎となる調音モデルを復元する。 また、複数の可動部も扱っており、以前の物体の形や構造に依存していない。
  論文  参考訳（メタデータ） (2024-04-01T19:23:00Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• NAP: Neural 3D Articulation Prior [31.875925637190328]
  本研究では,3次元合成対象モデルを合成する最初の3次元深部生成モデルであるNeural 3D Articulation Prior (NAP)を提案する。 そこで我々はまず,新しい調音木/グラフパラメタライゼーションを設計し,この表現に対して拡散減衰確率モデルを適用した。 分布が互いに影響を及ぼすような幾何構造と運動構造の両方を捉えるために,逆拡散過程を学習するためのグラフアテンション認知ネットワークを設計する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:35Z)
• Perceiving Unseen 3D Objects by Poking the Objects [45.70559270947074]
  本稿では,3Dオブジェクトの自動検出と再構成を行うポーキング方式を提案する。 ポーキングプロセスにより、ロボットは見えない3Dオブジェクトを発見できるだけでなく、多視点で観察することもできる。 実世界のデータを用いた実験により,本手法は高品質な未知の3Dオブジェクトを教師なしで発見・再構成できることが判明した。
  論文  参考訳（メタデータ） (2023-02-26T18:22:13Z)
• Ditto in the House: Building Articulation Models of Indoor Scenes through Interactive Perception [31.009703947432026]
  本研究は,ロボットの意図的なインタラクションを通じて室内シーンの調音モデルを構築することを検討する。 この課題にインタラクティブな認識アプローチを導入する。 シミュレーションと実世界の両方において,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-02-02T18:22:00Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare [84.80956484848505]
  MegaPoseは、トレーニング中に見えない新しいオブジェクトの6Dポーズを推定する方法である。 本稿では,新しいオブジェクトに適用可能なR&Compare戦略に基づく6次元ポーズリファインダを提案する。 第2に,合成レンダリングと同一物体の観察画像間のポーズ誤差をリファインダで補正できるか否かを分類するために訓練されたネットワークを利用する,粗いポーズ推定のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-13T19:30:03Z)
• Object Scene Representation Transformer [56.40544849442227]
  オブジェクトシーン表現変換(OSRT: Object Scene Representation Transformer)は、新しいビュー合成を通じて、個々のオブジェクト表現が自然に現れる3D中心のモデルである。 OSRTは、既存のメソッドよりもオブジェクトとバックグラウンドの多様性が大きい、はるかに複雑なシーンにスケールする。 光電場パラメトリゼーションと新しいSlot Mixerデコーダのおかげで、合成レンダリングでは桁違いに高速である。
  論文  参考訳（メタデータ） (2022-06-14T15:40:47Z)
• D3D-HOI: Dynamic 3D Human-Object Interactions from Videos [49.38319295373466]
  本稿では,D3D-HOIについて紹介する。D3D-HOIは3次元オブジェクトのポーズ,形状,動きを,人間と物体の相互作用の時,地上の真理アノテーションを付加したモノクロビデオのデータセットである。 我々のデータセットは、様々な現実世界のシーンとカメラの視点から捉えた、いくつかの共通したオブジェクトで構成されている。 我々は、推定された3次元人間のポーズを利用して、物体の空間的レイアウトとダイナミクスをより正確に推定する。
  論文  参考訳（メタデータ） (2021-08-19T00:49:01Z)
• RELATE: Physically Plausible Multi-Object Scene Synthesis Using Structured Latent Spaces [77.07767833443256]
  RELATEは、複数の対話オブジェクトの物理的に可視なシーンとビデオを生成することを学習するモデルである。 オブジェクト中心生成モデリングにおける最先端の手法とは対照的に、RELATEは自然に動的なシーンに拡張し、高い視覚的忠実度のビデオを生成する。
  論文  参考訳（メタデータ） (2020-07-02T17:27:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。