論文の概要: Learning to See Physical Properties with Active Sensing Motor Policies
- arxiv url: http://arxiv.org/abs/2311.01405v1
- Date: Thu, 2 Nov 2023 17:19:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 12:35:59.835233
- Title: Learning to See Physical Properties with Active Sensing Motor Policies
- Title（参考訳）: アクティブセンシングモータポリシーによる物理特性の把握
- Authors: Gabriel B. Margolis, Xiang Fu, Yandong Ji, Pulkit Agrawal
- Abstract要約: 本稿では,観測された地形を入力とし,物理的特性を予測する視覚システム構築の課題を克服する手法を提案する。
本稿では,身体的パラメータを推定する精度を高めるため,運動行動の学習を目的としたアクティブセンシングモータポリシ(ASMP)を紹介する。
訓練されたシステムは頑丈で、地上を歩いている四足歩行ロボットのカメラが収集したデータに基づいて訓練されているにもかかわらず、ドローンが捉えたオーバーヘッド画像でも機能する。
- 参考スコア（独自算出の注目度）: 20.851419392513503
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge of terrain's physical properties inferred from color images can aid
in making efficient robotic locomotion plans. However, unlike image
classification, it is unintuitive for humans to label image patches with
physical properties. Without labeled data, building a vision system that takes
as input the observed terrain and predicts physical properties remains
challenging. We present a method that overcomes this challenge by
self-supervised labeling of images captured by robots during real-world
traversal with physical property estimators trained in simulation. To ensure
accurate labeling, we introduce Active Sensing Motor Policies (ASMP), which are
trained to explore locomotion behaviors that increase the accuracy of
estimating physical parameters. For instance, the quadruped robot learns to
swipe its foot against the ground to estimate the friction coefficient
accurately. We show that the visual system trained with a small amount of
real-world traversal data accurately predicts physical parameters. The trained
system is robust and works even with overhead images captured by a drone
despite being trained on data collected by cameras attached to a quadruped
robot walking on the ground.
- Abstract（参考訳）: カラー画像から推測される地形の物理的特性の知識は、効率的なロボット移動計画の作成に役立つ。
しかし、画像分類とは異なり、人間が物理的特性で画像パッチをラベル付けすることは直感的ではない。
ラベル付きデータなしでは、観測された地形を入力し、物理的特性を予測する視覚システムを構築するのは難しい。
本稿では,ロボットが実世界のトラバーサル中に捉えた画像の自己教師付ラベル付けを,シミュレーションで訓練した物理的特性推定器を用いて,その課題を克服する手法を提案する。
正確なラベリングを確保するために,身体パラメータ推定の精度を高めるロコモーション動作を探索するために訓練されたアクティブセンシングモータポリシ(asmp)を導入する。
例えば、四足歩行ロボットは、足を地面に向かってスワイプして摩擦係数を正確に推定する。
実世界の少数のトラバーサルデータで訓練された視覚システムは、物理的パラメータを正確に予測する。
訓練されたシステムは頑丈で、地上を歩いている四足歩行ロボットのカメラが収集したデータに基づいて訓練されているにもかかわらず、ドローンが捉えたオーバーヘッド画像でも機能する。
関連論文リスト
- Learning Object Properties Using Robot Proprioception via Differentiable Robot-Object Interaction [52.12746368727368]
微分可能シミュレーションは、システム識別の強力なツールとなっている。
本手法は,オブジェクト自体のデータに頼ることなく,ロボットからの情報を用いてオブジェクト特性を校正する。
低コストなロボットプラットフォームにおける本手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-10-04T20:48:38Z) - Identifying Terrain Physical Parameters from Vision -- Towards Physical-Parameter-Aware Locomotion and Navigation [33.10872127224328]
視覚に基づく環境パラメータ推定のためのクロスモーダルな自己教師型学習フレームワークを提案する。
我々は物理デコーダをシミュレーションで訓練し、マルチモーダル入力から摩擦と剛性を予測した。
トレーニングされたネットワークは、物理的なパラメータを持つ現実世界のイメージのラベル付けを可能にし、デプロイ中にビジュアルネットワークをさらにトレーニングする。
論文 参考訳（メタデータ） (2024-08-29T14:35:14Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳（メタデータ） (2023-06-16T17:58:10Z) - Learning Semantics-Aware Locomotion Skills from Human Demonstration [35.996425893483796]
四足歩行ロボットの知覚からセマンティクスを意識したロコモーションスキルを学習するフレームワークを提案する。
本フレームワークは,認識された地形意味に基づいてロボットの速度と歩行を調整し,失敗することなく6km以上歩けるようにする。
論文 参考訳（メタデータ） (2022-06-27T21:08:03Z) - Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。
搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。
ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
論文 参考訳（メタデータ） (2022-06-16T10:45:17Z) - Learning Perceptual Locomotion on Uneven Terrains using Sparse Visual
Observations [75.60524561611008]
この研究は、人中心の環境において、よく見られるバンプ、ランプ、階段の広い範囲にわたる知覚的移動を達成するために、スパースな視覚的観察の使用を活用することを目的としている。
まず、関心の均一な面を表すことのできる最小限の視覚入力を定式化し、このような外受容的・固有受容的データを統合した学習フレームワークを提案する。
本研究では, 平地を全方向歩行し, 障害物のある地形を前方移動させるタスクにおいて, 学習方針を検証し, 高い成功率を示す。
論文 参考訳（メタデータ） (2021-09-28T20:25:10Z) - Physion: Evaluating Physical Prediction from Vision in Humans and
Machines [46.19008633309041]
我々は、この能力を正確に測定する視覚的および身体的予測ベンチマークを示す。
我々は、様々な物理予測を行う能力について、アルゴリズムの配列を比較した。
物理的な状態にアクセス可能なグラフニューラルネットワークは、人間の振る舞いを最もよく捉えている。
論文 参考訳（メタデータ） (2021-06-15T16:13:39Z) - Careful with That! Observation of Human Movements to Estimate Objects
Properties [106.925705883949]
我々は、物体の重さについての洞察を伝える人間の運動行動の特徴に焦点を当てる。
最後の目標は、ロボットがオブジェクトハンドリングに必要なケアの度合いを自律的に推測できるようにすることです。
論文 参考訳（メタデータ） (2021-03-02T08:14:56Z) - Where is my hand? Deep hand segmentation for visual self-recognition in
humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。
ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文 参考訳（メタデータ） (2021-02-09T10:34:32Z) - Learning to Identify Physical Parameters from Video Using Differentiable
Physics [2.15242029196761]
本稿では,アクション条件付きビデオ表現ネットワーク内の物理エンジンを用いて物理潜在表現を学習する手法を提案する。
われわれのネットワークは、画像のエンコードと、ビデオやアクションシーケンスからの質量や摩擦などの物理的特性の同定を学習できることを実証する。
論文 参考訳（メタデータ） (2020-09-17T13:36:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。