論文の概要: PolyUMI: Accessible Visual-Tactile-Audio Data Collection for Object Inference and Manipulation
- arxiv url: http://arxiv.org/abs/2609.29760v1
- Date: Thu, 24 Sep 2026 13:09:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.946109
- Title: PolyUMI: Accessible Visual-Tactile-Audio Data Collection for Object Inference and Manipulation
- Title（参考訳）: PolyUMI:オブジェクト推論と操作のためのアクセシブルなビジュアル触覚データ収集
- Abstract要約: PolyUMIは、スケーラブルなビジュアル-触覚-オーディオデモコレクションとロボットデプロイメントのためのオープンソースプラットフォームである。
センサ間の情報を統合するトークンレベルのマルチモーダルポリシであるVisTAを導入し、接触認識ロボットの動作を予測する。
- 参考スコア（独自算出の注目度）: 10.220626779864446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humans typically rely on vision, touch, hearing, and proprioception to perceive contact and adapt their actions during manipulation. Providing robots with comparable responsiveness therefore requires hardware that can retain and use these complementary sensory signals. Most imitation-learning systems, however, observe demonstrations primarily through vision and proprioception, limiting access to contact information that is difficult to infer visually. We present PolyUMI, an open-source platform for scalable visual--tactile--audio demonstration collection and robot deployment. Its lightweight, wireless handheld gripper records synchronized wrist-camera, optical tactile, contact-audio, and proprioceptive observations without requiring a tethered workstation. The same sensing finger can be transferred to the robot end effector, preserving the sensing geometry between demonstration collection and policy execution. To effectively use these heterogeneous observations, we further introduce VisTA, a token-level multimodal policy that integrates information across sensors and time to predict contact-aware robot actions. Experiments spanning object inference, slip control, and contact-rich manipulation show that touch and audio reveal task-relevant information beyond vision and that VisTA is competitive with or outperforms existing multimodal policies. Together, PolyUMI and VisTA provide an accessible pipeline for collecting multimodal demonstrations and learning policies that perceive physical interaction beyond vision. Project Page: https://polyumi-vista.github.io
- Abstract（参考訳）: 人間は通常、視力、触覚、聴力、先入観に頼り、接触を察知し、操作中に行動に適応する。
したがって、同等の応答性を持つロボットを提供するには、これらの補完的な感覚信号を保持および使用可能なハードウェアが必要である。
しかし、ほとんどの模倣学習システムは、主に視覚と受容を通して実証を観察し、視覚的に推測しにくい接触情報へのアクセスを制限する。
我々は、スケーラブルな視覚触覚-オーディオデモコレクションとロボットデプロイメントのためのオープンソースのプラットフォームであるPolyUMIを紹介する。
ライトウェイトでワイヤレスのハンドヘルドグリップは、同期した手首カメラ、光学触覚、接触オーディオ、およびプロジェノセプティブな観察を、テザリングワークステーションを必要とせずに記録する。
同じ触覚指をロボットエンドエフェクタに転送することができ、実証収集とポリシー実行の間の感覚幾何学を保存する。
このような異種観測を効果的に活用するために,センサ間の情報の統合と,接触認識ロボット動作の予測を行うトークンレベルのマルチモーダルポリシであるVisTAを導入する。
オブジェクト推論、スリップコントロール、コンタクトリッチな操作にまたがる実験は、タッチとオーディオが視覚以外のタスク関連情報を明らかにし、VisTAが既存のマルチモーダルポリシーと競合するか、上回っていることを示している。
PolyUMIとVisTAは共に、視覚を超えた物理的相互作用を知覚するマルチモーダルなデモンストレーションと学習ポリシーを収集するための、アクセス可能なパイプラインを提供する。
Project Page: https://polyumi-vista.github.io
関連論文リスト
- FingerEye: Continuous and Unified Vision-Tactile Sensing for Dexterous Manipulation [8.809778152652724]
有害なロボット操作は、あらゆる段階の相互作用を包括的に知覚する必要がある。
我々は,対話プロセスを通じて連続的な視覚触覚フィードバックを提供する,コンパクトで費用効率のよいセンサであるFingerEyeを紹介する。
我々は、複数のFingerEyeセンサーからの信号を融合して、限られた実世界のデータから巧妙な操作行動を学習する視覚触覚模倣学習ポリシーを開発した。
論文 参考訳（メタデータ） (2026-04-22T15:37:34Z) - ActiveGlasses: Learning Manipulation with Active Vision from Ego-centric Human Demonstration [51.69384671495837]
ActiveGlassesは、エゴ中心の人間のデモからロボット操作を学習するシステムである。
スマートグラスに装着されたステレオカメラは、データ収集とポリシー推論の両方のための唯一の認識装置として機能する。
ゼロ・トランスファーを可能にするために,デモからオブジェクト・トラジェクトリを抽出し,オブジェクト中心のポイント・クラウド・ポリシーを用いて操作と頭部運動を協調的に予測する。
論文 参考訳（メタデータ） (2026-04-09T17:59:08Z) - PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-rich Manipulation Using Tactile-Diffusion Policies [4.6090500060386805]
PolyTouchは、カメラベースの触覚センサー、音響センサー、周辺視覚センサーを単一のデザインに統合する、新しいロボットフィンガーだ。
実験では、市販の触覚センサーよりも寿命が20倍に増えており、製造が容易でスケーラブルな設計になっている。
論文 参考訳（メタデータ） (2025-04-27T19:50:31Z) - Beyond Sight: Finetuning Generalist Robot Policies with Heterogeneous Sensors via Language Grounding [85.63710017456792]
FuSeは、不均一なセンサのモダリティに対する微調整型ビズモータ一般政策を可能にする新しいアプローチである。
FuSeは視覚,触覚,音などのモーダル性に対して共同で推論を必要とする挑戦的なタスクを実行できることを示す。
実世界での実験では、FuSeisはすべての基準ラインと比較して成功率を20%以上引き上げることができた。
論文 参考訳（メタデータ） (2025-01-08T18:57:33Z) - ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data [28.36623343236893]
我々は,同期音声と視覚的フィードバックを伴って人体でのデモを収集する「アー・イン・ハンド」データ収集装置であるManiWAVを紹介する。
また,本システムでは,多種多様な人間の実演から学習することで,未知の環境に一般化できることを示す。
論文 参考訳（メタデータ） (2024-06-27T18:06:38Z) - The Power of the Senses: Generalizable Manipulation from Vision and
Touch through Masked Multimodal Learning [60.91637862768949]
強化学習環境における視覚的・触覚的情報を融合するためのマスク付きマルチモーダル学習(M3L)を提案する。
M3Lは、マスク付きオートエンコーディングに基づいて、ポリシーと視覚触覚表現を学習する。
視覚と触覚の両方の観察を行い、3つの模擬環境におけるM3Lの評価を行った。
論文 参考訳（メタデータ） (2023-11-02T01:33:00Z) - Play it by Ear: Learning Skills amidst Occlusion through Audio-Visual
Imitation Learning [62.83590925557013]
我々は視覚と音声の入力から、部分的に観察された操作タスクのセットを学習する。
提案システムは,遠隔操作による実演とオンラインファインタニングを併用することで,これらの課題を学習する。
模擬課題の集合において、我々のシステムは音声を使うことの恩恵を受けており、オンライン介入を用いることで、オフライン模倣学習の成功率を20%向上できることがわかった。
論文 参考訳（メタデータ） (2022-05-30T04:52:58Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳（メタデータ） (2020-08-11T17:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。