論文の概要: SPIN: Simultaneous Perception, Interaction and Navigation
- arxiv url: http://arxiv.org/abs/2405.07991v1
- Date: Mon, 13 May 2024 17:59:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 12:46:36.228953
- Title: SPIN: Simultaneous Perception, Interaction and Navigation
- Title（参考訳）: SPIN: 同時知覚、インタラクション、ナビゲーション
- Authors: Shagun Uppal, Ananye Agarwal, Haoyu Xiong, Kenneth Shaw, Deepak Pathak,
- Abstract要約: 本稿では、アクティブな視覚システムを用いて、その環境を意識的に知覚し、反応するリアクティブなモバイル操作フレームワークを提案する。
人間は体全体と眼の調整を利用するのと同じように、移動と視力を利用する移動マニピュレータを開発します。
- 参考スコア（独自算出の注目度）: 33.408010508592824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While there has been remarkable progress recently in the fields of manipulation and locomotion, mobile manipulation remains a long-standing challenge. Compared to locomotion or static manipulation, a mobile system must make a diverse range of long-horizon tasks feasible in unstructured and dynamic environments. While the applications are broad and interesting, there are a plethora of challenges in developing these systems such as coordination between the base and arm, reliance on onboard perception for perceiving and interacting with the environment, and most importantly, simultaneously integrating all these parts together. Prior works approach the problem using disentangled modular skills for mobility and manipulation that are trivially tied together. This causes several limitations such as compounding errors, delays in decision-making, and no whole-body coordination. In this work, we present a reactive mobile manipulation framework that uses an active visual system to consciously perceive and react to its environment. Similar to how humans leverage whole-body and hand-eye coordination, we develop a mobile manipulator that exploits its ability to move and see, more specifically -- to move in order to see and to see in order to move. This allows it to not only move around and interact with its environment but also, choose "when" to perceive "what" using an active visual system. We observe that such an agent learns to navigate around complex cluttered scenarios while displaying agile whole-body coordination using only ego-vision without needing to create environment maps. Results visualizations and videos at https://spin-robot.github.io/
- Abstract（参考訳）: 最近、操作と移動の分野で目覚ましい進歩があったが、モバイル操作は長年にわたる課題である。
移動体は移動体や静的操作と比較して、非構造的および動的環境において多様な長距離タスクを実現する必要がある。
アプリケーションは広くて興味深いが、ベースとアームの調整、環境の知覚と相互作用に対するオンボードの認識への依存、そして最も重要なのは、これらすべての部品を同時に統合するといった、これらのシステムの開発には多くの課題がある。
それまでの作業では、自明に結びついているモビリティと操作のために、アンタングル化されたモジュラースキルを使用して、この問題にアプローチしていた。
これは、エラーの複合化、意思決定の遅延、全身の調整など、いくつかの制限を引き起こす。
本研究では、アクティブな視覚システムを用いて、その環境を意識的に知覚し、反応するリアクティブなモバイル操作フレームワークを提案する。
人間は体全体と眼の調整を利用するのと同じように、動くために動き、見るために動く能力を利用する移動マニピュレータを開発します。
これにより、動き回って環境と対話するだけでなく、アクティブな視覚システムを使って「何」を知覚する「いつ」を選択することができる。
このようなエージェントは、環境マップを作成することなく、エゴビジョンのみを使用して、アジャイル全体のコーディネーションを表示しながら、複雑な乱雑なシナリオをナビゲートすることを学びます。
results visualizations and video at https://spin-robot.github.io/
関連論文リスト
- HYPERmotion: Learning Hybrid Behavior Planning for Autonomous Loco-manipulation [7.01404330241523]
HYPERmotionは、異なるシナリオのタスクに基づいて行動を学び、選択し、計画するフレームワークである。
強化学習と全身最適化を組み合わせることで,38関節の運動を生成する。
シミュレーションと実世界の実験では、学習した動きが新しいタスクに効率的に適応できることが示されている。
論文 参考訳（メタデータ） (2024-06-20T18:21:24Z) - Harmonic Mobile Manipulation [35.82197562695662]
HarmonicMMはナビゲーションと操作の両方を最適化するエンドツーエンドの学習手法である。
私たちのコントリビューションには、モバイル操作のための新しいベンチマークと、RGBの視覚的観察のみによるデプロイメントの成功が含まれています。
論文 参考訳（メタデータ） (2023-12-11T18:54:42Z) - Revisit Human-Scene Interaction via Space Occupancy [55.67657438543008]
HSI(Human-Scene Interaction)の生成は、さまざまな下流タスクに不可欠な課題である。
本研究では,シーンとのインタラクションが,抽象的な物理的視点からシーンの空間占有と本質的に相互作用していることを論じる。
純粋な動きシーケンスを、見えないシーン占有と相互作用する人間の記録として扱うことで、動きのみのデータを大規模にペア化された人間-占有相互作用データベースに集約することができる。
論文 参考訳（メタデータ） (2023-12-05T12:03:00Z) - InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。
そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
論文 参考訳（メタデータ） (2023-11-27T14:32:33Z) - QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse
Sensors [69.75711933065378]
ヘッドセットとコントローラーのポーズは,高度に制約された環境においても,現実的なフルボディのポーズを生成可能であることを示す。
本稿では,環境表現,接触報酬,シーンランダム化の3つの特徴について論じる。
論文 参考訳（メタデータ） (2023-06-09T04:40:38Z) - Synthesizing Physical Character-Scene Interactions [64.26035523518846]
仮想キャラクタとその周辺環境間のこのような相互作用を合成する必要がある。
本稿では,逆模倣学習と強化学習を用いて物理シミュレーション文字を学習するシステムを提案する。
我々のアプローチは、物理学に基づくキャラクターモーション生成を広い適用性に一歩近づいた。
論文 参考訳（メタデータ） (2023-02-02T05:21:32Z) - N$^2$M$^2$: Learning Navigation for Arbitrary Mobile Manipulation
Motions in Unseen and Dynamic Environments [9.079709086741987]
モバイル操作のためのニューラルナビゲーション(N$2$M$2$)を導入する。
結果として生じるアプローチは、動的障害物や環境変化に即座に反応しながら、探索されていない環境で、目に見えない、長い水平タスクを実行することができる。
提案手法は,複数の運動学的に多様な移動マニピュレータ上での広範囲なシミュレーションおよび実世界の実験において有効であることを示す。
論文 参考訳（メタデータ） (2022-06-17T12:52:41Z) - A Differentiable Recipe for Learning Visual Non-Prehensile Planar
Manipulation [63.1610540170754]
視覚的非包括的平面操作の問題に焦点をあてる。
本稿では,ビデオデコードニューラルモデルと接触力学の先行情報を組み合わせた新しいアーキテクチャを提案する。
モジュラーで完全に差別化可能なアーキテクチャは、目に見えないオブジェクトやモーションの学習専用手法よりも優れていることが分かりました。
論文 参考訳（メタデータ） (2021-11-09T18:39:45Z) - Articulated Object Interaction in Unknown Scenes with Whole-Body Mobile
Manipulation [16.79185733369416]
未知の環境下における大型関節オブジェクトとの自律的相互作用のための2段階アーキテクチャを提案する。
第1段階は学習モデルを用いて、RGB-D入力から対象物の調音モデルを推定し、相互作用のための状態の動作条件列を予測する。
第2段階は、生成した運動計画に沿ってオブジェクトを操作する全身運動制御装置からなる。
論文 参考訳（メタデータ） (2021-03-18T21:32:18Z) - Modeling Long-horizon Tasks as Sequential Interaction Landscapes [75.5824586200507]
本稿では,一連のデモビデオからのみ,サブタスク間の依存関係と遷移を学習するディープラーニングネットワークを提案する。
これらのシンボルは、画像観察から直接学習し、予測できることが示される。
我々は,(1)人間によって実行されるパズル片のブロック積み重ね,(2)物体のピック・アンド・プレイスとキャビネットドアを7-DoFロボットアームで滑らせるロボット操作という,2つの長期水平作業において,我々の枠組みを評価する。
論文 参考訳（メタデータ） (2020-06-08T18:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。