論文の概要: Lost & Found: Updating Dynamic 3D Scene Graphs from Egocentric Observations

• arxiv url: http://arxiv.org/abs/2411.19162v1
• Date: Thu, 28 Nov 2024 14:05:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:19:08.647411
• Title: Lost & Found: Updating Dynamic 3D Scene Graphs from Egocentric Observations
• Title（参考訳）: 消失と発見:エゴセントリックな観察からダイナミックな3Dシーングラフを更新
• Authors: Tjark Behrens, René Zurbrügg, Marc Pollefeys, Zuria Bauer, Hermann Blum,
• Abstract要約: 静的なセマンティックマップは、環境と人間またはロボットエージェントの間の相互作用を捉えることができない。 我々はこの制限に対処するアプローチを提案する。エゴセントリックな記録のみに基づいて、動く物体の6DoFのポーズを追跡することができる。 提案手法は,移動マニピュレータの教示と繰り返しによる操作を可能とし,先行操作に関する情報によって移動マニピュレータがドローカに隠された物体を検索できることを示す。
• 参考スコア（独自算出の注目度）: 44.14584011692035
• License:
• Abstract: Recent approaches have successfully focused on the segmentation of static reconstructions, thereby equipping downstream applications with semantic 3D understanding. However, the world in which we live is dynamic, characterized by numerous interactions between the environment and humans or robotic agents. Static semantic maps are unable to capture this information, and the naive solution of rescanning the environment after every change is both costly and ineffective in tracking e.g. objects being stored away in drawers. With Lost & Found we present an approach that addresses this limitation. Based solely on egocentric recordings with corresponding hand position and camera pose estimates, we are able to track the 6DoF poses of the moving object within the detected interaction interval. These changes are applied online to a transformable scene graph that captures object-level relations. Compared to state-of-the-art object pose trackers, our approach is more reliable in handling the challenging egocentric viewpoint and the lack of depth information. It outperforms the second-best approach by 34% and 56% for translational and orientational error, respectively, and produces visibly smoother 6DoF object trajectories. In addition, we illustrate how the acquired interaction information in the dynamic scene graph can be employed in the context of robotic applications that would otherwise be unfeasible: We show how our method allows to command a mobile manipulator through teach & repeat, and how information about prior interaction allows a mobile manipulator to retrieve an object hidden in a drawer. Code, videos and corresponding data are accessible at https://behretj.github.io/LostAndFound.
• Abstract（参考訳）: 近年のアプローチでは静的再構成のセグメンテーションに焦点が当てられ、下流のアプリケーションにセマンティック3D理解を組み込むことに成功している。 しかし、私たちの住む世界はダイナミックで、環境と人間やロボットエージェントとの多くの相互作用が特徴です。 静的なセマンティックマップはこの情報をキャプチャすることができず、変更毎に環境をスキャンする簡単なソリューションは、ドロワーに格納されているegオブジェクトを追跡するのに費用と効果の両方がある。 Lost & Foundでは、この制限に対処するアプローチを提示します。 手の位置とカメラのポーズ推定による自我中心的な記録のみに基づいて、検出された相互作用間隔内で移動物体の6DoFのポーズを追跡することができる。 これらの変更は、オブジェクトレベルの関係をキャプチャする変換可能なシーングラフにオンラインで適用される。 最先端のオブジェクトポーズトラッカーと比較して,我々のアプローチは,難解な自我中心の視点と深度情報の欠如に対処する上で,より信頼性が高い。 翻訳誤差と向き誤差は34%と56%で2番目に良い手法より優れており、視覚的にスムーズな6DoFオブジェクト軌道を生成する。 さらに、動的シーングラフにおける取得したインタラクション情報を、他の方法では実現不可能なロボットアプリケーションのコンテキストにどのように適用できるかを解説する。我々は、我々の方法が、教示と繰り返しを通じて移動マニピュレータを指令することを可能にする方法と、事前のインタラクションに関する情報によって、移動マニピュレータが引き出しに隠されたオブジェクトを検索する方法について説明する。 コード、ビデオ、および対応するデータはhttps://behretj.github.io/LostAndFound.comでアクセスできる。

関連論文リスト

• Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [59.87033229815062]
  アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。 従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。 本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-09-24T17:59:56Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• InterTracker: Discovering and Tracking General Objects Interacting with Hands in the Wild [40.489171608114574]
  既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。 本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。 提案手法は最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-06T09:09:17Z)
• BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects [89.2314092102403]
  モノクロRGBDビデオシーケンスから未知物体の6-DoF追跡をリアルタイムに行う手法を提案する。 視覚的テクスチャがほとんど欠如している場合でも,任意の剛体オブジェクトに対して有効である。
  論文  参考訳（メタデータ） (2023-03-24T17:13:49Z)
• Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos [49.52070710518688]
  一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。 本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
  論文  参考訳（メタデータ） (2021-11-02T13:40:18Z)
• D3D-HOI: Dynamic 3D Human-Object Interactions from Videos [49.38319295373466]
  本稿では,D3D-HOIについて紹介する。D3D-HOIは3次元オブジェクトのポーズ,形状,動きを,人間と物体の相互作用の時,地上の真理アノテーションを付加したモノクロビデオのデータセットである。 我々のデータセットは、様々な現実世界のシーンとカメラの視点から捉えた、いくつかの共通したオブジェクトで構成されている。 我々は、推定された3次元人間のポーズを利用して、物体の空間的レイアウトとダイナミクスをより正確に推定する。
  論文  参考訳（メタデータ） (2021-08-19T00:49:01Z)
• "What's This?" -- Learning to Segment Unknown Objects from Manipulation Sequences [27.915309216800125]
  本稿では,ロボットマニピュレータを用いた自己教師型把握対象セグメンテーションのための新しいフレームワークを提案する。 本稿では,モーションキューとセマンティック知識を共同で組み込んだ,エンドツーエンドのトレーニング可能な単一アーキテクチャを提案する。 我々の手法は、運動ロボットや3Dオブジェクトモデルの視覚的登録にも、正確な手眼の校正や追加センサーデータにも依存しない。
  論文  参考訳（メタデータ） (2020-11-06T10:55:28Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。