論文の概要: Lost & Found: Tracking Changes from Egocentric Observations in 3D Dynamic Scene Graphs

• arxiv url: http://arxiv.org/abs/2411.19162v2
• Date: Tue, 11 Mar 2025 09:49:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 16:15:11.891948
• Title: Lost & Found: Tracking Changes from Egocentric Observations in 3D Dynamic Scene Graphs
• Title（参考訳）: Lost & Found:3次元ダイナミックシーングラフにおけるエゴセントリックな観測からの変化追跡
• Authors: Tjark Behrens, René Zurbrügg, Marc Pollefeys, Zuria Bauer, Hermann Blum,
• Abstract要約: 静的なセマンティックマップは、環境と人間またはロボットエージェントの間の相互作用を捉えることができない。 我々はこの制限に対処するアプローチを提案する。エゴセントリックな記録のみに基づいて、動く物体の6DoFのポーズを追跡することができる。 提案手法は,移動マニピュレータの教示と繰り返しによる操作を可能とし,先行操作に関する情報によって移動マニピュレータがドローカに隠された物体を検索できることを示す。
• 参考スコア（独自算出の注目度）: 44.14584011692035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent approaches have successfully focused on the segmentation of static reconstructions, thereby equipping downstream applications with semantic 3D understanding. However, the world in which we live is dynamic, characterized by numerous interactions between the environment and humans or robotic agents. Static semantic maps are unable to capture this information, and the naive solution of rescanning the environment after every change is both costly and ineffective in tracking e.g. objects being stored away in drawers. With Lost & Found we present an approach that addresses this limitation. Based solely on egocentric recordings with corresponding hand position and camera pose estimates, we are able to track the 6DoF poses of the moving object within the detected interaction interval. These changes are applied online to a transformable scene graph that captures object-level relations. Compared to state-of-the-art object pose trackers, our approach is more reliable in handling the challenging egocentric viewpoint and the lack of depth information. It outperforms the second-best approach by 34% and 56% for translational and orientational error, respectively, and produces visibly smoother 6DoF object trajectories. In addition, we illustrate how the acquired interaction information in the dynamic scene graph can be employed in the context of robotic applications that would otherwise be unfeasible: We show how our method allows to command a mobile manipulator through teach & repeat, and how information about prior interaction allows a mobile manipulator to retrieve an object hidden in a drawer. Code, videos and corresponding data are accessible at https://behretj.github.io/LostAndFound.
• Abstract（参考訳）: 近年のアプローチでは静的再構成のセグメンテーションに焦点が当てられ、下流のアプリケーションにセマンティック3D理解を組み込むことに成功している。 しかし、私たちの住む世界はダイナミックで、環境と人間やロボットエージェントとの多くの相互作用が特徴です。 静的なセマンティックマップはこの情報をキャプチャすることができず、変更毎に環境をスキャンする簡単なソリューションは、ドロワーに格納されているegオブジェクトを追跡するのに費用と効果の両方がある。 Lost & Foundでは、この制限に対処するアプローチを提示します。 手の位置とカメラのポーズ推定による自我中心的な記録のみに基づいて、検出された相互作用間隔内で移動物体の6DoFのポーズを追跡することができる。 これらの変更は、オブジェクトレベルの関係をキャプチャする変換可能なシーングラフにオンラインで適用される。 最先端のオブジェクトポーズトラッカーと比較して,我々のアプローチは,難解な自我中心の視点と深度情報の欠如に対処する上で,より信頼性が高い。 翻訳誤差と向き誤差は34%と56%で2番目に良い手法より優れており、視覚的にスムーズな6DoFオブジェクト軌道を生成する。 さらに、動的シーングラフにおける取得したインタラクション情報を、他の方法では実現不可能なロボットアプリケーションのコンテキストにどのように適用できるかを解説する。我々は、我々の方法が、教示と繰り返しを通じて移動マニピュレータを指令することを可能にする方法と、事前のインタラクションに関する情報によって、移動マニピュレータが引き出しに隠されたオブジェクトを検索する方法について説明する。 コード、ビデオ、および対応するデータはhttps://behretj.github.io/LostAndFound.comでアクセスできる。

関連論文リスト

• FunGraph: Functionality Aware 3D Scene Graphs for Language-Prompted Scene Interaction [1.8124328823188356]
  我々は、より細かな解像度でオブジェクトを検出し、保存することに集中し、価格関連部品に焦点をあてる。 現在利用可能な3Dリソースを活用して、2Dデータを生成し、検出器をトレーニングし、標準の3Dシーングラフ生成パイプラインを拡張するために使用します。
  論文  参考訳（メタデータ） (2025-03-10T23:13:35Z)
• Street Gaussians without 3D Object Tracker [86.62329193275916]
  既存の方法は、標準空間における動的オブジェクトを再構築するために、オブジェクトポーズの労働集約的な手動ラベリングに依存している。 本研究では,3次元オブジェクト融合戦略における2次元ディープトラッカーの関連性を利用して,安定なオブジェクト追跡モジュールを提案する。 我々は、軌道誤差を自律的に補正し、見逃した検出を回復する暗黙の特徴空間に、モーションラーニング戦略を導入することで、避けられないトラッキングエラーに対処する。
  論文  参考訳（メタデータ） (2024-12-07T05:49:42Z)
• Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [59.87033229815062]
  アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。 従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。 本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-09-24T17:59:56Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects [89.2314092102403]
  モノクロRGBDビデオシーケンスから未知物体の6-DoF追跡をリアルタイムに行う手法を提案する。 視覚的テクスチャがほとんど欠如している場合でも,任意の剛体オブジェクトに対して有効である。
  論文  参考訳（メタデータ） (2023-03-24T17:13:49Z)
• Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos [49.52070710518688]
  一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。 本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
  論文  参考訳（メタデータ） (2021-11-02T13:40:18Z)
• NeuralDiff: Segmenting 3D objects that move in egocentric videos [92.95176458079047]
  観測された3次元シーンを静的な背景と動的前景に分解する問題について検討する。 このタスクは、古典的な背景の減算問題を連想させるが、静的でダイナミックなシーンの全ての部分が大きな動きを生じさせるため、非常に難しい。 特に、自我中心のビデオについて検討し、動的コンポーネントを観察・移動するオブジェクトとアクターにさらに分離する。
  論文  参考訳（メタデータ） (2021-10-19T12:51:35Z)
• "What's This?" -- Learning to Segment Unknown Objects from Manipulation Sequences [27.915309216800125]
  本稿では,ロボットマニピュレータを用いた自己教師型把握対象セグメンテーションのための新しいフレームワークを提案する。 本稿では,モーションキューとセマンティック知識を共同で組み込んだ,エンドツーエンドのトレーニング可能な単一アーキテクチャを提案する。 我々の手法は、運動ロボットや3Dオブジェクトモデルの視覚的登録にも、正確な手眼の校正や追加センサーデータにも依存しない。
  論文  参考訳（メタデータ） (2020-11-06T10:55:28Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。