Fugu-MT 論文翻訳(概要): General In-Hand Object Rotation with Vision and Touch

論文の概要: General In-Hand Object Rotation with Vision and Touch

arxiv url: http://arxiv.org/abs/2309.09979v1
Date: Mon, 18 Sep 2023 17:59:25 GMT
ステータス: 処理完了
システム内更新日: 2023-09-19 12:02:20.609421
Title: General In-Hand Object Rotation with Vision and Touch
Title（参考訳）: 視覚とタッチによる一般的な手内物体回転
Authors: Haozhi Qi, Brent Yi, Sudharshan Suresh, Mike Lambeta, Yi Ma, Roberto Calandra, Jitendra Malik
Abstract要約: 複数の軸に沿って指先で物体を回転させるシステムであるRotateItを紹介した。実感的かつノイズの多いビゾタクタクタブルとプロピロセプティヴな感覚入力で操作するために蒸留する。
参考スコア（独自算出の注目度）: 46.871539289388615
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce RotateIt, a system that enables fingertip-based object rotation along multiple axes by leveraging multimodal sensory inputs. Our system is trained in simulation, where it has access to ground-truth object shapes and physical properties. Then we distill it to operate on realistic yet noisy simulated visuotactile and proprioceptive sensory inputs. These multimodal inputs are fused via a visuotactile transformer, enabling online inference of object shapes and physical properties during deployment. We show significant performance improvements over prior methods and the importance of visual and tactile sensing.
Abstract（参考訳）: マルチモーダル感覚入力を活用することで,複数の軸に沿って指先に基づく物体の回転を可能にするシステムであるRotateItを紹介する。本システムは, 地表面の物体形状や物理的特性にアクセス可能なシミュレーションで訓練されている。そして、現実的でうるさい振動性感覚入力と固有受容感覚入力で操作するために蒸留する。これらのマルチモーダル入力は、Visuotactile Transformerを介して融合され、デプロイ中にオブジェクトの形状や物理的特性をオンラインで推測することができる。従来の手法よりも優れた性能を示し,視覚・触覚センシングの重要性を示した。

関連論文リスト

AnyRotate: Gravity-Invariant In-Hand Object Rotation with Sim-to-Real Touch [9.606323817785114]
我々は,高密度のsim-to-realタッチを用いた重力不変多軸物体回転システムであるAnyRotateを提案する。我々の定式化により、統一されたポリシーの訓練により、任意の回転軸に関する未知の物体を任意の方向で回転させることができる。リッチな多指触覚センシングは不安定な把握を検知し、ポリシーの堅牢性を改善するリアクティブな振る舞いを提供する。
論文参考訳（メタデータ） (2024-05-12T22:51:35Z)
Controllable Visual-Tactile Synthesis [28.03469909285511]
一つのスケッチから視覚と触覚の両方の出力を合成する条件生成モデルを開発した。次に,電気接着型触覚デバイスに高品質な視覚・触覚出力を描画するパイプラインを導入する。
論文参考訳（メタデータ） (2023-05-04T17:59:51Z)
Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文参考訳（メタデータ） (2023-03-10T16:27:37Z)
Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps [100.72245315180433]
本研究では,人間の手-物体相互作用の異なるモードを捉えるために,再構成可能なデータグローブの設計を提案する。グローブは3つのモードで動作し、異なる特徴を持つ様々な下流タスクを実行する。 i)手の動きと関連力を記録し,(ii)VRの操作流速を改善するとともに,(iii)様々なツールの現実的なシミュレーション効果を生み出すことにより,システムの3つのモードを評価する。
論文参考訳（メタデータ） (2023-01-14T05:35:50Z)
Visual-Tactile Multimodality for Following Deformable Linear Objects Using Reinforcement Learning [15.758583731036007]
本稿では,視覚と触覚入力を併用して変形可能な線形物体を追従するタスクを完遂する問題について検討する。我々は,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作をどのように促進するかを検討する。実験の結果,視覚入力と触覚入力の両方を使用することで,最大92%の症例で作業が完了することがわかった。
論文参考訳（メタデータ） (2022-03-31T21:59:08Z)
Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文参考訳（メタデータ） (2021-09-09T16:04:14Z)
Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。 EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文参考訳（メタデータ） (2021-08-11T03:49:59Z)
Learning Intuitive Physics with Multimodal Generative Models [24.342994226226786]
本稿では,視覚と触覚のフィードバックを融合させ,動的シーンにおける物体の動きを予測する枠組みを提案する。我々は、接触面の高解像度マルチモーダルセンシングを提供する新しいSee-Through-your-Skin(STS)センサを使用します。物体の静止状態を所定の初期条件から予測するシミュレーションおよび実世界の実験を通じて検証する。
論文参考訳（メタデータ） (2021-01-12T12:55:53Z)
ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。 TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文参考訳（メタデータ） (2020-07-09T17:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。