論文の概要: Combining Vision and Tactile Sensation for Video Prediction

• arxiv url: http://arxiv.org/abs/2304.11193v1
• Date: Fri, 21 Apr 2023 18:02:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 19:53:03.799649
• Title: Combining Vision and Tactile Sensation for Video Prediction
• Title（参考訳）: 映像予測のための視覚と触覚の組み合わせ
• Authors: Willow Mandil and Amir Ghalamzan-E
• Abstract要約: 本研究では,触覚フィードバックを映像予測モデルに組み込んだ物理的ロボットインタラクションの効果について検討する。 磁気ベースの触覚センサを用いて教師なし学習を行うロボットプッシュの2つの新しいデータセットを紹介した。 以上の結果から,触覚フィードバックを映像予測モデルに組み込むことにより,シーン予測精度が向上し,エージェントの身体的相互作用に対する認識が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we explore the impact of adding tactile sensation to video prediction models for physical robot interactions. Predicting the impact of robotic actions on the environment is a fundamental challenge in robotics. Current methods leverage visual and robot action data to generate video predictions over a given time period, which can then be used to adjust robot actions. However, humans rely on both visual and tactile feedback to develop and maintain a mental model of their physical surroundings. In this paper, we investigate the impact of integrating tactile feedback into video prediction models for physical robot interactions. We propose three multi-modal integration approaches and compare the performance of these tactile-enhanced video prediction models. Additionally, we introduce two new datasets of robot pushing that use a magnetic-based tactile sensor for unsupervised learning. The first dataset contains visually identical objects with different physical properties, while the second dataset mimics existing robot-pushing datasets of household object clusters. Our results demonstrate that incorporating tactile feedback into video prediction models improves scene prediction accuracy and enhances the agent's perception of physical interactions and understanding of cause-effect relationships during physical robot interactions.
• Abstract（参考訳）: 本稿では,ロボットインタラクションにおける映像予測モデルに触覚感を加える効果について検討する。 ロボットが環境に与える影響を予測することは、ロボット工学における根本的な課題である。 現在の方法では、視覚とロボットのアクションデータを利用して、所定の時間内にビデオ予測を生成し、ロボットのアクションを調整することができる。 しかし、人間は視覚と触覚の両方のフィードバックに頼り、身体環境のメンタルモデルを開発し維持する。 本稿では,触覚フィードバックを映像予測モデルに組み込んだ物理ロボットインタラクションへの影響について検討する。 本稿では,3つのマルチモーダル統合手法を提案し,これらの触覚強調映像予測モデルの性能を比較した。 さらに,非教師なし学習のための磁気触覚センサを用いたロボットプッシュの2つの新しいデータセットを提案する。 第1のデータセットは視覚的に同一のオブジェクトを含み、第2のデータセットは既存の家庭用オブジェクトクラスタのロボットプッシュデータセットを模倣する。 本研究は,映像予測モデルに触覚フィードバックを組み込むことにより,シーン予測精度が向上し,エージェントの物理的インタラクション知覚が向上し,ロボットインタラクションにおける因果関係の理解が向上することを示す。

関連論文リスト

• Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
  我々はPolarisという対話型ロボット操作フレームワークを紹介した。 ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。 本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:40:38Z)
• RoboPack: Learning Tactile-Informed Dynamics Models for Dense Packing [38.97168020979433]
  本稿では, 視覚と触覚を組み合わせ, 触覚インフォームド・ダイナミックスモデルを学習することでロボット操作を実現するアプローチを提案する。 提案するフレームワークであるRoboPackは、オブジェクト状態を推定するために、リカレントグラフニューラルネットワークを使用している。 我々は,非包括的操作と密包装作業に対するソフトバブル触覚センサを備えた実ロボットへのアプローチを実証する。
  論文  参考訳（メタデータ） (2024-07-01T16:08:37Z)
• Predicting Human Impressions of Robot Performance During Navigation Tasks [8.01980632893357]
  本研究では,非言語行動手がかりと機械学習技術を用いて,ロボット行動に対する人々の印象を予測する可能性を検討する。 以上の結果から,表情だけでロボット性能の人的印象について有用な情報が得られることが示唆された。 教師付き学習技術は、ほとんどの場合、人間のロボット性能予測よりも優れていたため、有望であった。
  論文  参考訳（メタデータ） (2023-10-17T21:12:32Z)
• Action-conditioned Deep Visual Prediction with RoAM, a new Indoor Human Motion Dataset for Autonomous Robots [1.7778609937758327]
  ロボット自律運動(RoAM)ビデオデータセットについて紹介する。 このロボットは、ロボットのエゴビジョンから様々な人間の動きを記録する様々な屋内環境において、カスタムメイドのタートルボット3バーガーロボットで収集される。 データセットには、LiDARスキャンの同期記録や、静的で動く人間のエージェントの周りを移動する際にロボットが取るすべての制御アクションも含まれている。
  論文  参考訳（メタデータ） (2023-06-28T00:58:44Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
  本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。 我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。 この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
  論文  参考訳（メタデータ） (2021-09-09T16:04:14Z)
• Future Frame Prediction for Robot-assisted Surgery [57.18185972461453]
  本稿では,ロボット手術用ビデオシーケンスにおけるフレーム予測のためのtpg-vaeモデルを提案する。 コンテンツ配信に加えて、私たちのモデルは、手術ツールの小さな動きを処理するために斬新な運動分布を学習します。
  論文  参考訳（メタデータ） (2021-03-18T15:12:06Z)
• Learning Predictive Models From Observation and Interaction [137.77887825854768]
  世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。 しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。 本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。