論文の概要: Ditto in the House: Building Articulation Models of Indoor Scenes
through Interactive Perception
- arxiv url: http://arxiv.org/abs/2302.01295v1
- Date: Thu, 2 Feb 2023 18:22:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-03 12:59:05.167554
- Title: Ditto in the House: Building Articulation Models of Indoor Scenes
through Interactive Perception
- Title(参考訳): 家の中のディットー:対話的知覚による室内シーンの調音モデルの構築
- Authors: Cheng-Chun Hsu and Zhenyu Jiang and Yuke Zhu
- Abstract要約: 本研究は,ロボットの意図的なインタラクションを通じて室内シーンの調音モデルを構築することを検討する。
この課題にインタラクティブな認識アプローチを導入する。
シミュレーションと実世界の両方において,本手法の有効性を実証する。
- 参考スコア(独自算出の注目度): 31.009703947432026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Virtualizing the physical world into virtual models has been a critical
technique for robot navigation and planning in the real world. To foster
manipulation with articulated objects in everyday life, this work explores
building articulation models of indoor scenes through a robot's purposeful
interactions in these scenes. Prior work on articulation reasoning primarily
focuses on siloed objects of limited categories. To extend to room-scale
environments, the robot has to efficiently and effectively explore a
large-scale 3D space, locate articulated objects, and infer their
articulations. We introduce an interactive perception approach to this task.
Our approach, named Ditto in the House, discovers possible articulated objects
through affordance prediction, interacts with these objects to produce
articulated motions, and infers the articulation properties from the visual
observations before and after each interaction. It tightly couples affordance
prediction and articulation inference to improve both tasks. We demonstrate the
effectiveness of our approach in both simulation and real-world scenes. Code
and additional results are available at
https://ut-austin-rpl.github.io/HouseDitto/
- Abstract(参考訳): 物理世界を仮想モデルに仮想化することは、現実世界におけるロボットナビゲーションと計画にとって重要な技術である。
本研究は,日常生活における関節物体の操作を促進するため,ロボットの意図的なインタラクションによる室内シーンの調音モデルの構築を考察する。
調音推論に関する先行研究は、主に限定されたカテゴリのサイロ化されたオブジェクトに焦点を当てている。
室内環境に拡張するためには、ロボットは大規模3D空間を効率的かつ効果的に探索し、明瞭な物体を特定し、関節を推測する必要がある。
我々はこの課題にインタラクティブな知覚アプローチを導入する。
提案手法はditto in the houseと名付けられ,アフォーマンス予測による関節物体の検出,これらの物体と相互作用して関節運動を生成し,各相互作用前後の視覚観察から関節特性を推定する。
両タスクを改善するために、アフォーアンス予測と調音推論を密結合する。
シミュレーションと実世界の両方において,本手法の有効性を示す。
コードと追加結果はhttps://ut-austin-rpl.github.io/houseditto/で入手できる。
関連論文リスト
- ParaHome: Parameterizing Everyday Home Activities Towards 3D Generative
Modeling of Human-Object Interactions [11.32229757116179]
そこで我々は,人間と物体の動的3次元運動を,共通のホーム環境内で捉えるために設計されたParaHomeシステムを紹介した。
ParaHomeシステムを利用することで、人間と物体の相互作用の大規模なデータセットを収集する。
論文 参考訳(メタデータ) (2024-01-18T18:59:58Z) - ROAM: Robust and Object-Aware Motion Generation Using Neural Pose
Descriptors [73.26004792375556]
本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。
我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。
本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-08-24T17:59:51Z) - Synthesizing Diverse Human Motions in 3D Indoor Scenes [16.948649870341782]
そこで本研究では,仮想人間による3次元屋内シーンの映像化手法を提案する。
既存のアプローチは、キャプチャーされた人間の動きと、それらが相互作用する3Dシーンを含むトレーニングシーケンスに依存している。
仮想人間が3Dシーンをナビゲートし、現実的かつ自律的にオブジェクトと対話できる強化学習ベースのアプローチを提案する。
論文 参考訳(メタデータ) (2023-05-21T09:22:24Z) - Affordances from Human Videos as a Versatile Representation for Robotics [31.248842798600606]
我々は、人間がどこでどのように対話するかを推定する視覚的余裕モデルを訓練する。
これらの行動割当の構造は、ロボットが多くの複雑なタスクを直接実行できるようにする。
私たちは、VRBと呼ばれる4つの現実世界環境、10以上のタスクと2つのロボットプラットフォームにおいて、私たちのアプローチの有効性を示します。
論文 参考訳(メタデータ) (2023-04-17T17:59:34Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳(メタデータ) (2022-12-20T19:50:54Z) - Learn to Predict How Humans Manipulate Large-sized Objects from
Interactive Motions [82.90906153293585]
本稿では,動きデータと動的記述子を融合させるグラフニューラルネットワークHO-GCNを提案する。
動的記述子を消費するネットワークは、最先端の予測結果が得られ、未確認オブジェクトへのネットワークの一般化に役立つことを示す。
論文 参考訳(メタデータ) (2022-06-25T09:55:39Z) - Interaction Replica: Tracking human-object interaction and scene changes
from human motion [67.42489661574325]
iReplicaは、人間の動きのみに基づいて物体やシーンの変化を追跡する、初めての人間と物体の相互作用推論手法である。
私たちのコード、データ、モデルは、プロジェクトのページ http://virtual humans.mpi-inf.mpg.de/ireplica/.comで公開されます。
論文 参考訳(メタデータ) (2022-05-05T17:58:06Z) - INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。
我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。
我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文 参考訳(メタデータ) (2021-08-25T07:35:21Z) - iGibson, a Simulation Environment for Interactive Tasks in Large
Realistic Scenes [54.04456391489063]
iGibsonは、大規模な現実的なシーンにおける対話的なタスクのためのロボットソリューションを開発するための、新しいシミュレーション環境である。
私たちの環境には、厳密で明瞭な物体が密集した15のインタラクティブなホームサイズシーンが含まれています。
iGibsonの機能はナビゲーションエージェントの一般化を可能にし、人間-iGibsonインターフェースと統合されたモーションプランナーは、単純な人間の実演行動の効率的な模倣学習を促進する。
論文 参考訳(メタデータ) (2020-12-05T02:14:17Z) - Learning Object-Based State Estimators for Household Robots [11.055133590909097]
我々は高次元観測と仮説に基づいてオブジェクトベースのメモリシステムを構築する。
シミュレーション環境と実画像の両方において動的に変化するオブジェクトの記憶を維持するシステムの有効性を実証する。
論文 参考訳(メタデータ) (2020-11-06T04:18:52Z) - Hindsight for Foresight: Unsupervised Structured Dynamics Models from
Physical Interaction [24.72947291987545]
エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。
本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2020-08-02T11:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。