論文の概要: Ditto in the House: Building Articulation Models of Indoor Scenes
through Interactive Perception
- arxiv url: http://arxiv.org/abs/2302.01295v1
- Date: Thu, 2 Feb 2023 18:22:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-03 12:59:05.167554
- Title: Ditto in the House: Building Articulation Models of Indoor Scenes
through Interactive Perception
- Title(参考訳): 家の中のディットー:対話的知覚による室内シーンの調音モデルの構築
- Authors: Cheng-Chun Hsu and Zhenyu Jiang and Yuke Zhu
- Abstract要約: 本研究は,ロボットの意図的なインタラクションを通じて室内シーンの調音モデルを構築することを検討する。
この課題にインタラクティブな認識アプローチを導入する。
シミュレーションと実世界の両方において,本手法の有効性を実証する。
- 参考スコア(独自算出の注目度): 31.009703947432026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Virtualizing the physical world into virtual models has been a critical
technique for robot navigation and planning in the real world. To foster
manipulation with articulated objects in everyday life, this work explores
building articulation models of indoor scenes through a robot's purposeful
interactions in these scenes. Prior work on articulation reasoning primarily
focuses on siloed objects of limited categories. To extend to room-scale
environments, the robot has to efficiently and effectively explore a
large-scale 3D space, locate articulated objects, and infer their
articulations. We introduce an interactive perception approach to this task.
Our approach, named Ditto in the House, discovers possible articulated objects
through affordance prediction, interacts with these objects to produce
articulated motions, and infers the articulation properties from the visual
observations before and after each interaction. It tightly couples affordance
prediction and articulation inference to improve both tasks. We demonstrate the
effectiveness of our approach in both simulation and real-world scenes. Code
and additional results are available at
https://ut-austin-rpl.github.io/HouseDitto/
- Abstract(参考訳): 物理世界を仮想モデルに仮想化することは、現実世界におけるロボットナビゲーションと計画にとって重要な技術である。
本研究は,日常生活における関節物体の操作を促進するため,ロボットの意図的なインタラクションによる室内シーンの調音モデルの構築を考察する。
調音推論に関する先行研究は、主に限定されたカテゴリのサイロ化されたオブジェクトに焦点を当てている。
室内環境に拡張するためには、ロボットは大規模3D空間を効率的かつ効果的に探索し、明瞭な物体を特定し、関節を推測する必要がある。
我々はこの課題にインタラクティブな知覚アプローチを導入する。
提案手法はditto in the houseと名付けられ,アフォーマンス予測による関節物体の検出,これらの物体と相互作用して関節運動を生成し,各相互作用前後の視覚観察から関節特性を推定する。
両タスクを改善するために、アフォーアンス予測と調音推論を密結合する。
シミュレーションと実世界の両方において,本手法の有効性を示す。
コードと追加結果はhttps://ut-austin-rpl.github.io/houseditto/で入手できる。
関連論文リスト
- Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [59.87033229815062]
アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。
従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。
本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
論文 参考訳(メタデータ) (2024-09-24T17:59:56Z) - Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
我々はPolarisという対話型ロボット操作フレームワークを紹介した。
ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。
本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
論文 参考訳(メタデータ) (2024-08-15T06:40:38Z) - Learning Manipulation by Predicting Interaction [85.57297574510507]
本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。
実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
論文 参考訳(メタデータ) (2024-06-01T13:28:31Z) - RPMArt: Towards Robust Perception and Manipulation for Articulated Objects [56.73978941406907]
本稿では,Articulated Objects (RPMArt) のロバスト知覚と操作のためのフレームワークを提案する。
RPMArtは、調音パラメータを推定し、雑音の多い点雲から調音部分を操作することを学習する。
我々は,シミュレート・トゥ・リアル・トランスファーの能力を高めるための調音認識型分類手法を提案する。
論文 参考訳(メタデータ) (2024-03-24T05:55:39Z) - Synthesizing Diverse Human Motions in 3D Indoor Scenes [16.948649870341782]
そこで本研究では,仮想人間による3次元屋内シーンの映像化手法を提案する。
既存のアプローチは、キャプチャーされた人間の動きと、それらが相互作用する3Dシーンを含むトレーニングシーケンスに依存している。
仮想人間が3Dシーンをナビゲートし、現実的かつ自律的にオブジェクトと対話できる強化学習ベースのアプローチを提案する。
論文 参考訳(メタデータ) (2023-05-21T09:22:24Z) - Affordances from Human Videos as a Versatile Representation for Robotics [31.248842798600606]
我々は、人間がどこでどのように対話するかを推定する視覚的余裕モデルを訓練する。
これらの行動割当の構造は、ロボットが多くの複雑なタスクを直接実行できるようにする。
私たちは、VRBと呼ばれる4つの現実世界環境、10以上のタスクと2つのロボットプラットフォームにおいて、私たちのアプローチの有効性を示します。
論文 参考訳(メタデータ) (2023-04-17T17:59:34Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳(メタデータ) (2022-12-20T19:50:54Z) - iGibson, a Simulation Environment for Interactive Tasks in Large
Realistic Scenes [54.04456391489063]
iGibsonは、大規模な現実的なシーンにおける対話的なタスクのためのロボットソリューションを開発するための、新しいシミュレーション環境である。
私たちの環境には、厳密で明瞭な物体が密集した15のインタラクティブなホームサイズシーンが含まれています。
iGibsonの機能はナビゲーションエージェントの一般化を可能にし、人間-iGibsonインターフェースと統合されたモーションプランナーは、単純な人間の実演行動の効率的な模倣学習を促進する。
論文 参考訳(メタデータ) (2020-12-05T02:14:17Z) - Hindsight for Foresight: Unsupervised Structured Dynamics Models from
Physical Interaction [24.72947291987545]
エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。
本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2020-08-02T11:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。