論文の概要: Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing

• arxiv url: http://arxiv.org/abs/2312.01853v3
• Date: Wed, 31 Jul 2024 06:46:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 20:35:03.601158
• Title: Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing
• Title（参考訳）: ロボット合成 : バイオオタクティルセンシングによる手作業操作
• Authors: Ying Yuan, Haichuan Che, Yuzhe Qin, Binghao Huang, Zhao-Heng Yin, Kang-Won Lee, Yi Wu, Soo-Chul Lim, Xiaolong Wang,
• Abstract要約: 視覚的・触覚的な感覚入力を活用して手動操作を可能にするシステムを提案する。 ロボット・シンセシス(Robot Synesthesia)は、人間の触覚と視覚の合成にインスパイアされた、新しい点の雲に基づく触覚表現である。
• 参考スコア（独自算出の注目度）: 15.970078821894758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Executing contact-rich manipulation tasks necessitates the fusion of tactile and visual feedback. However, the distinct nature of these modalities poses significant challenges. In this paper, we introduce a system that leverages visual and tactile sensory inputs to enable dexterous in-hand manipulation. Specifically, we propose Robot Synesthesia, a novel point cloud-based tactile representation inspired by human tactile-visual synesthesia. This approach allows for the simultaneous and seamless integration of both sensory inputs, offering richer spatial information and facilitating better reasoning about robot actions. The method, trained in a simulated environment and then deployed to a real robot, is applicable to various in-hand object rotation tasks. Comprehensive ablations are performed on how the integration of vision and touch can improve reinforcement learning and Sim2Real performance. Our project page is available at https://yingyuan0414.github.io/visuotactile/ .
• Abstract（参考訳）: コンタクトリッチな操作タスクの実行は、触覚と視覚的フィードバックの融合を必要とする。 しかし、これらのモダリティの独特な性質は重大な課題を生じさせる。 本稿では,視覚的・触覚的な感覚入力を活用して,手作業の巧妙な操作を可能にするシステムを提案する。 具体的には,人間の触覚と視覚の合成にインスパイアされた,新しい点の雲に基づく触覚表現であるRobot Synesthesiaを提案する。 このアプローチは、両方の感覚入力を同時かつシームレスに統合し、より豊かな空間情報を提供し、ロボットアクションに関するより良い推論を容易にする。 シミュレーション環境で訓練され、実際のロボットにデプロイされたこの方法は、様々な手動物体の回転タスクに適用できる。 視覚と触覚の統合によって強化学習とSim2Realのパフォーマンスが向上する。 私たちのプロジェクトページはhttps://yingyuan0414.github.io/visuotactile/ で公開されています。

関連論文リスト

• Digitizing Touch with an Artificial Multimodal Fingertip [51.7029315337739]
  人間とロボットはどちらも、周囲の環境を知覚し、相互作用するためにタッチを使うことの恩恵を受ける。 ここでは、タッチのデジタル化を改善するための概念的および技術革新について述べる。 これらの進歩は、高度なセンシング機能を備えた人工指型センサーに具現化されている。
  論文  参考訳（メタデータ） (2024-11-04T18:38:50Z)
• Built Different: Tactile Perception to Overcome Cross-Embodiment Capability Differences in Collaborative Manipulation [1.9048510647598207]
  触覚は、人間とロボットのアシスタントの間で暗黙のコミュニケーションを行う強力な手段である。 本稿では,触覚がロボットシステム間での身体間差異をいかに超越させるかを検討する。 本研究では,ロボットと人間が協調して宇宙空間で物体を操る,協調作業を可能にする方法を示す。
  論文  参考訳（メタデータ） (2024-09-23T10:45:41Z)
• Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
  我々はPolarisという対話型ロボット操作フレームワークを紹介した。 ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。 本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:40:38Z)
• DexTouch: Learning to Seek and Manipulate Objects with Tactile Dexterity [12.508332341279177]
  触覚を用いて物体を探索・操作する多指ロボットシステムを提案する。 これを実現するために、ロボットハンドの片側に二元触覚センサを実装し、Sim2Realギャップを最小限に抑える。 視覚情報のない環境においても,触覚センサを用いた物体探索と操作が可能であることを示す。
  論文  参考訳（メタデータ） (2024-01-23T05:37:32Z)
• Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
  人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。 我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。 我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
  論文  参考訳（メタデータ） (2023-10-04T17:59:38Z)
• Rotating without Seeing: Towards In-hand Dexterity through Touch [43.87509744768282]
  本稿では,タッチデクスタリティ(Touch Dexterity)を提案する。 小さな領域で正確な触覚センサーに頼る代わりに、ロボットハンドの片側をオーバーレイする密度の高い二分力センサー(タッチまたはタッチなし)を用いた新しいシステム設計を導入する。 我々は,各種物体のシミュレーションに強化学習を用いて手動回転ポリシーを訓練する。タッチオンリーセンシングを応用して,実際のロボットの手で直接ポリシーを展開し,トレーニングで提示されていない新規物体を回転させることができる。
  論文  参考訳（メタデータ） (2023-03-20T05:38:30Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation [49.925499720323806]
  視覚的、聴覚的、触覚的知覚が、ロボットが複雑な操作タスクを解くのにどのように役立つかを研究する。 私たちは、カメラで見たり、コンタクトマイクで聞いたり、視覚ベースの触覚センサーで感じるロボットシステムを構築しました。
  論文  参考訳（メタデータ） (2022-12-07T18:55:53Z)
• Synthesis and Execution of Communicative Robotic Movements with Generative Adversarial Networks [59.098560311521034]
  我々は、繊細な物体を操作する際に人間が採用するのと同じキネマティクス変調を2つの異なるロボットプラットフォームに転送する方法に焦点を当てる。 我々は、ロボットのエンドエフェクターが採用する速度プロファイルを、異なる特徴を持つ物体を輸送する際に人間が何をするかに触発されて調整する。 我々は、人体キネマティクスの例を用いて訓練され、それらを一般化し、新しい有意義な速度プロファイルを生成する、新しいジェネレーティブ・アドバイサル・ネットワークアーキテクチャを利用する。
  論文  参考訳（メタデータ） (2022-03-29T15:03:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。