論文の概要: Visual Haptic Reasoning: Estimating Contact Forces by Observing
Deformable Object Interactions
- arxiv url: http://arxiv.org/abs/2208.05632v1
- Date: Thu, 11 Aug 2022 04:08:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-12 13:35:37.267615
- Title: Visual Haptic Reasoning: Estimating Contact Forces by Observing
Deformable Object Interactions
- Title(参考訳): 視覚的触覚推論:変形可能な物体相互作用の観察による接触力の推定
- Authors: Yufei Wang, David Held, Zackory Erickson
- Abstract要約: 本稿では,協調型ロボットが布を用いて視覚的触覚推論を行うための定式化を提案する。
物理シミュレーションで訓練された2つの異なるモデル表現は、触覚的推論を可能にする。
ロボット支援ドレッシング,入浴,皿洗い作業のシミュレーションにおいて,これらのモデルの定量的評価を行った。
- 参考スコア(独自算出の注目度): 14.647688803221293
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic manipulation of highly deformable cloth presents a promising
opportunity to assist people with several daily tasks, such as washing dishes;
folding laundry; or dressing, bathing, and hygiene assistance for individuals
with severe motor impairments. In this work, we introduce a formulation that
enables a collaborative robot to perform visual haptic reasoning with cloth --
the act of inferring the location and magnitude of applied forces during
physical interaction. We present two distinct model representations, trained in
physics simulation, that enable haptic reasoning using only visual and robot
kinematic observations. We conducted quantitative evaluations of these models
in simulation for robot-assisted dressing, bathing, and dish washing tasks, and
demonstrate that the trained models can generalize across different tasks with
varying interactions, human body sizes, and object shapes. We also present
results with a real-world mobile manipulator, which used our simulation-trained
models to estimate applied contact forces while performing physically assistive
tasks with cloth. Videos can be found at our project webpage.
- Abstract(参考訳): 高度に変形可能な布のロボット操作は、深刻な運動障害を持つ人のために、洗濯、洗濯、入浴、衛生補助など、日々の作業を行う人々を助ける有望な機会を提供する。
本研究では,協調型ロボットが布を用いて視覚的触覚推論を行うための定式化を導入する。
物理シミュレーションで訓練された2つの異なるモデル表現を提示し,視覚とロボットのキネマティックな観察のみを用いて触覚推論を行う。
ロボット支援ドレッシング,入浴,食器洗浄作業のシミュレーションにおいて,これらのモデルの定量的評価を行い,トレーニングしたモデルが,インタラクション,人体サイズ,物体形状の異なる異なる異なるタスクにまたがって一般化できることを実証した。
また、実世界の移動マニピュレータを用いて、シミュレーション学習したモデルを用いて、布を用いて物理的に補助作業を行いながら、応用接触力を推定した。
ビデオはプロジェクトのWebページにある。
関連論文リスト
- PhyGrasp: Generalizing Robotic Grasping with Physics-informed Large
Multimodal Models [58.33913881592706]
人間は、自分の直感的な物理学を巧みに把握し、これまで見たことのない物体であっても、効率的に把握を変更できる。
この研究は、そのような物理的常識的推論をロボット操作に注入することに注力している。
自然言語と3次元点雲の2つのモードからの入力を利用するマルチモーダル大モデルであるPhyGraspを紹介する。
論文 参考訳(メタデータ) (2024-02-26T18:57:52Z) - RoboCraft: Learning to See, Simulate, and Shape Elasto-Plastic Objects
with Graph Networks [32.00371492516123]
弾塑性物体のモデリングと操作のためのモデルベース計画フレームワークを提案する。
我々のシステムであるRoboCraftは、グラフニューラルネットワーク(GNN)を用いて粒子ベースの力学モデルを学び、基礎となるシステムの構造を捉える。
実世界のロボットインタラクションデータの10分で、ロボットは制御信号を合成し、弾塑性の物体を様々な形状に変形させるダイナミックスモデルを学習できることを示す。
論文 参考訳(メタデータ) (2022-05-05T20:28:15Z) - Data-driven emotional body language generation for social robotics [58.88028813371423]
社会ロボティクスでは、人間型ロボットに感情の身体的表現を生成する能力を与えることで、人間とロボットの相互作用とコラボレーションを改善することができる。
我々は、手作業で設計されたいくつかの身体表現から学習する深層学習データ駆動フレームワークを実装した。
評価実験の結果, 生成した表現の人間同型とアニマシーは手作りの表現と異なる認識が得られなかった。
論文 参考訳(メタデータ) (2022-05-02T09:21:39Z) - An in-depth experimental study of sensor usage and visual reasoning of
robots navigating in real environments [20.105395754497202]
実物的エージェントの性能と推論能力について検討し、シミュレーションで訓練し、2つの異なる物理的環境に展開する。
我々は,PointGoalタスクに対して,多種多様なタスクを事前訓練し,対象環境の模擬バージョンを微調整したエージェントが,sim2real転送をモデル化せずに競争性能に達することを示す。
論文 参考訳(メタデータ) (2021-11-29T16:27:29Z) - Full-Body Visual Self-Modeling of Robot Morphologies [29.76701883250049]
身体の内部計算モデルは、ロボットや動物が行動の計画と制御を行う能力の基礎である。
完全データ駆動型自己モデリングの最近の進歩により、マシンはタスク非依存の相互作用データから直接フォワードキネマティクスを学習できるようになった。
ここでは、フォワードキネマティクスを直接モデル化するのではなく、空間占有クエリに答えることのできる、より有用な自己モデリング形式を提案する。
論文 参考訳(メタデータ) (2021-11-11T18:58:07Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳(メタデータ) (2021-09-09T16:04:14Z) - Enhancing a Neurocognitive Shared Visuomotor Model for Object
Identification, Localization, and Grasping With Learning From Auxiliary Tasks [0.0]
本稿では,複数の物体を持つシーンにおいて,対象物を識別,局所化,把握するロボット作業のための統合型視覚神経モデルについて追従する。
我々のRetinanetベースのモデルは、生物学的にインスパイアされた発達アプローチで、視覚運動能力のエンドツーエンドのトレーニングを可能にします。
論文 参考訳(メタデータ) (2020-09-26T19:45:15Z) - A robot that counts like a child: a developmental model of counting and
pointing [69.26619423111092]
実物を数えることができる新しい神経ロボティクスモデルを導入する。
このモデルにより,エンボディメントと数値認識の相互作用を調べることができる。
トレーニングされたモデルは、アイテムのセットをカウントすることができ、同時にそれらを指し示します。
論文 参考訳(メタデータ) (2020-08-05T21:06:27Z) - Use the Force, Luke! Learning to Predict Physical Forces by Simulating
Effects [79.351446087227]
物体と相互作用する人間の映像から接触点と物理的力の推測の問題に対処する。
具体的には、シミュレーションを用いて効果を予測し、推定された力がビデオに描かれたものと同じ効果をもたらすことを強制する。
論文 参考訳(メタデータ) (2020-03-26T17:20:23Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳(メタデータ) (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。