論文の概要: Visual-Tactile Multimodality for Following Deformable Linear Objects Using Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2204.00117v1
• Date: Thu, 31 Mar 2022 21:59:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 02:03:29.049492
• Title: Visual-Tactile Multimodality for Following Deformable Linear Objects Using Reinforcement Learning
• Title（参考訳）: 強化学習を用いた変形可能な線形物体追従のための視覚触覚マルチモーダル
• Authors: Leszek Pecyna, Siyuan Dong, Shan Luo
• Abstract要約: 本稿では,視覚と触覚入力を併用して変形可能な線形物体を追従するタスクを完遂する問題について検討する。 我々は,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作をどのように促進するかを検討する。 実験の結果,視覚入力と触覚入力の両方を使用することで,最大92%の症例で作業が完了することがわかった。
• 参考スコア（独自算出の注目度）: 15.758583731036007
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Manipulation of deformable objects is a challenging task for a robot. It will be problematic to use a single sensory input to track the behaviour of such objects: vision can be subjected to occlusions, whereas tactile inputs cannot capture the global information that is useful for the task. In this paper, we study the problem of using vision and tactile inputs together to complete the task of following deformable linear objects, for the first time. We create a Reinforcement Learning agent using different sensing modalities and investigate how its behaviour can be boosted using visual-tactile fusion, compared to using a single sensing modality. To this end, we developed a benchmark in simulation for manipulating the deformable linear objects using multimodal sensing inputs. The policy of the agent uses distilled information, e.g., the pose of the object in both visual and tactile perspectives, instead of the raw sensing signals, so that it can be directly transferred to real environments. In this way, we disentangle the perception system and the learned control policy. Our extensive experiments show that the use of both vision and tactile inputs, together with proprioception, allows the agent to complete the task in up to 92% of cases, compared to 77% when only one of the signals is given. Our results can provide valuable insights for the future design of tactile sensors and for deformable objects manipulation.
• Abstract（参考訳）: 変形可能な物体の操作はロボットにとって難しい課題である。 視覚はオクルージョンの対象となりうるが、触覚入力はタスクに有用なグローバルな情報をキャプチャできない。 本稿では,視覚入力と触覚入力を併用して,変形可能な線形物体を追従するタスクを初めて完了させる課題について検討する。 本研究では,視覚触覚融合を用いて,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作がどのように促進されるかを検討する。 そこで我々は,変形可能な線形オブジェクトをマルチモーダル入力で操作するシミュレーションのベンチマークを開発した。 エージェントのポリシーは、例えば、生のセンシング信号の代わりに、視覚と触覚の両方の観点からオブジェクトのポーズを蒸留情報を使用し、実際の環境へ直接転送することができる。 このようにして,知覚システムと学習制御方針を分離する。 広汎な実験により、視覚と触覚の両方の入力がプロプレセプションと共に、最大92%のケースでタスクを完了できることが示され、一方の信号が与えられた場合の77%に対して、エージェントは最大92%のケースでタスクを完了できることがわかった。 この結果は,触覚センサの設計や変形可能な物体の操作に有用な知見を提供する。

関連論文リスト

• Latent Object Characteristics Recognition with Visual to Haptic-Audio Cross-modal Transfer Learning [9.178588671620963]
  この研究は、潜伏する観測不可能なオブジェクトの特性を認識することを目的としている。 視覚は一般的にロボットによる物体認識に使われるが、隠された物体を検出するには効果がない。 本稿では,視覚から触覚へのクロスモーダル・トランスファー学習手法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T21:18:14Z)
• Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation [57.60490773016364]
  マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。 提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。 私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
  論文  参考訳（メタデータ） (2023-12-20T22:36:37Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• General In-Hand Object Rotation with Vision and Touch [46.871539289388615]
  複数の軸に沿って指先で物体を回転させるシステムであるRotateItを紹介した。 実感的かつノイズの多いビゾタクタクタブルとプロピロセプティヴな感覚入力で操作するために蒸留する。
  論文  参考訳（メタデータ） (2023-09-18T17:59:25Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Touch and Go: Learning from Human-Collected Vision and Touch [16.139106833276]
  我々はTouch and Goという,視覚と触覚のペアデータを用いたデータセットを提案する。 人間のデータ収集者は触覚センサーを使って自然環境の物体を探査する。 私たちのデータセットは、多数の"野生の"オブジェクトとシーンにまたがっています。
  論文  参考訳（メタデータ） (2022-11-22T18:59:32Z)
• Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
  本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。 我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。 この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
  論文  参考訳（メタデータ） (2021-09-09T16:04:14Z)
• Learning Intuitive Physics with Multimodal Generative Models [24.342994226226786]
  本稿では,視覚と触覚のフィードバックを融合させ,動的シーンにおける物体の動きを予測する枠組みを提案する。 我々は、接触面の高解像度マルチモーダルセンシングを提供する新しいSee-Through-your-Skin(STS)センサを使用します。 物体の静止状態を所定の初期条件から予測するシミュレーションおよび実世界の実験を通じて検証する。
  論文  参考訳（メタデータ） (2021-01-12T12:55:53Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。