論文の概要: Identifying Terrain Physical Parameters from Vision -- Towards Physical-Parameter-Aware Locomotion and Navigation
- arxiv url: http://arxiv.org/abs/2408.16567v1
- Date: Thu, 29 Aug 2024 14:35:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-30 13:33:01.483934
- Title: Identifying Terrain Physical Parameters from Vision -- Towards Physical-Parameter-Aware Locomotion and Navigation
- Title（参考訳）: 視界からの地すべり物理パラメータの同定 -物理パラメータを考慮したロコモーションとナビゲーションに向けて-
- Authors: Jiaqi Chen, Jonas Frey, Ruyi Zhou, Takahiro Miki, Georg Martius, Marco Hutter,
- Abstract要約: 視覚に基づく環境パラメータ推定のためのクロスモーダルな自己教師型学習フレームワークを提案する。
我々は物理デコーダをシミュレーションで訓練し、マルチモーダル入力から摩擦と剛性を予測した。
トレーニングされたネットワークは、物理的なパラメータを持つ現実世界のイメージのラベル付けを可能にし、デプロイ中にビジュアルネットワークをさらにトレーニングする。
- 参考スコア（独自算出の注目度）: 33.10872127224328
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Identifying the physical properties of the surrounding environment is essential for robotic locomotion and navigation to deal with non-geometric hazards, such as slippery and deformable terrains. It would be of great benefit for robots to anticipate these extreme physical properties before contact; however, estimating environmental physical parameters from vision is still an open challenge. Animals can achieve this by using their prior experience and knowledge of what they have seen and how it felt. In this work, we propose a cross-modal self-supervised learning framework for vision-based environmental physical parameter estimation, which paves the way for future physical-property-aware locomotion and navigation. We bridge the gap between existing policies trained in simulation and identification of physical terrain parameters from vision. We propose to train a physical decoder in simulation to predict friction and stiffness from multi-modal input. The trained network allows the labeling of real-world images with physical parameters in a self-supervised manner to further train a visual network during deployment, which can densely predict the friction and stiffness from image data. We validate our physical decoder in simulation and the real world using a quadruped ANYmal robot, outperforming an existing baseline method. We show that our visual network can predict the physical properties in indoor and outdoor experiments while allowing fast adaptation to new environments.
- Abstract（参考訳）: 周囲の環境の物理的特性を特定することは、滑りやすい地形や変形可能な地形などの非幾何学的危険に対処するためにロボットの移動とナビゲーションに不可欠である。
ロボットが接触する前にこれらの極端な物理的特性を予想することは大きな利益になるでしょうが、視覚から環境物理的パラメータを推定することは依然としてオープンな課題です。
動物は、これまでの経験と、自分が見たものや、どのように感じているかを知ることで、これを達成することができる。
本研究では,視覚に基づく環境パラメータ推定のための自己指導型クロスモーダル学習フレームワークを提案する。
シミュレーションで訓練された既存のポリシーと視覚からの物理地形パラメータの同定のギャップを埋める。
我々は,マルチモーダル入力から摩擦や剛性を予測するために,物理デコーダをシミュレーションで訓練することを提案する。
トレーニングされたネットワークは、物理的パラメータによる実世界のイメージのラベル付けを可能にし、デプロイメント中に視覚ネットワークをさらに訓練することで、画像データから摩擦や剛性を密に予測することができる。
シミュレーションおよび実世界における物理デコーダの検証には,既存のベースライン法よりも優れた4足歩行型ANYmalロボットを用いた。
我々の視覚ネットワークは、新しい環境に迅速に適応しながら、屋内および屋外の実験における物理的特性を予測できることを示す。
関連論文リスト
- Learning to See Physical Properties with Active Sensing Motor Policies [20.851419392513503]
本稿では,観測された地形を入力とし,物理的特性を予測する視覚システム構築の課題を克服する手法を提案する。
本稿では,身体的パラメータを推定する精度を高めるため,運動行動の学習を目的としたアクティブセンシングモータポリシ(ASMP)を紹介する。
訓練されたシステムは頑丈で、地上を歩いている四足歩行ロボットのカメラが収集したデータに基づいて訓練されているにもかかわらず、ドローンが捉えたオーバーヘッド画像でも機能する。
論文 参考訳（メタデータ） (2023-11-02T17:19:18Z) - Physically Grounded Vision-Language Models for Robotic Manipulation [59.143640049407104]
39.6Kのクラウドソースと417Kの自動物理概念アノテーションからなるオブジェクト中心のデータセットであるPhysObjectsを提案する。
本稿では,PhysObjects上での視覚言語モデルの微調整により,物理オブジェクト概念の理解が向上することを示す。
我々は、この物理的基盤を持つVLMを、大規模言語モデルに基づくロボットプランナーと対話的なフレームワークに組み込む。
論文 参考訳（メタデータ） (2023-09-05T20:21:03Z) - An in-depth experimental study of sensor usage and visual reasoning of
robots navigating in real environments [20.105395754497202]
実物的エージェントの性能と推論能力について検討し、シミュレーションで訓練し、2つの異なる物理的環境に展開する。
我々は,PointGoalタスクに対して,多種多様なタスクを事前訓練し,対象環境の模擬バージョンを微調整したエージェントが,sim2real転送をモデル化せずに競争性能に達することを示す。
論文 参考訳（メタデータ） (2021-11-29T16:27:29Z) - Physion: Evaluating Physical Prediction from Vision in Humans and
Machines [46.19008633309041]
我々は、この能力を正確に測定する視覚的および身体的予測ベンチマークを示す。
我々は、様々な物理予測を行う能力について、アルゴリズムの配列を比較した。
物理的な状態にアクセス可能なグラフニューラルネットワークは、人間の振る舞いを最もよく捉えている。
論文 参考訳（メタデータ） (2021-06-15T16:13:39Z) - Learning to Identify Physical Parameters from Video Using Differentiable
Physics [2.15242029196761]
本稿では,アクション条件付きビデオ表現ネットワーク内の物理エンジンを用いて物理潜在表現を学習する手法を提案する。
われわれのネットワークは、画像のエンコードと、ビデオやアクションシーケンスからの質量や摩擦などの物理的特性の同定を学習できることを実証する。
論文 参考訳（メタデータ） (2020-09-17T13:36:57Z) - Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial
Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。
RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。
本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文 参考訳（メタデータ） (2020-07-27T17:46:59Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳（メタデータ） (2020-07-09T17:33:27Z) - Visual Grounding of Learned Physical Models [66.04898704928517]
人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。
我々は、物理を同時に推論し、視覚と力学の先行に基づく将来の予測を行うニューラルモデルを提案する。
実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
論文 参考訳（メタデータ） (2020-04-28T17:06:38Z) - Visual Navigation Among Humans with Optimal Control as a Supervisor [72.5188978268463]
そこで本研究では,学習に基づく知覚とモデルに基づく最適制御を組み合わせることで,人間間をナビゲートする手法を提案する。
私たちのアプローチは、新しいデータ生成ツールであるHumANavによって実現されています。
学習したナビゲーションポリシーは、将来の人間の動きを明示的に予測することなく、人間に予測し、反応できることを実証する。
論文 参考訳（メタデータ） (2020-03-20T16:13:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。