論文の概要: ME-Dex 1.0: Bringing Heterogeneous Tactile Sensing into World Action Modeling
- arxiv url: http://arxiv.org/abs/2609.21449v2
- Date: Mon, 21 Sep 2026 07:46:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.206618
- Title: ME-Dex 1.0: Bringing Heterogeneous Tactile Sensing into World Action Modeling
- Title（参考訳）: ME-Dex 1.0:世界アクションモデリングに不均一な触覚センシングをもたらす
- Abstract要約: 本稿では,共同視覚,触覚,行動学習のための世界行動触覚モデルであるME-Dex-1.0(MachEmbodied-Dex-1.0)を提案する。
多ソースの不均一な触覚入力をサポートするために、カノニカルハンドモデルと統一触覚オートエンコーダマップは、触覚観測を空間空間と潜時空間に共有する。
- 参考スコア（独自算出の注目度）: 17.299603717233328
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World Action Models bring the predictive capabilities of video models into robot action generation, providing a rich foundation for modeling future visual states. Tactile sensing complements this foundation with direct measurements of physical interaction. Some existing methods use tactile features as conditioning inputs without jointly predicting future tactile states, visual observations, and actions. Our key insight is that tactile signals, like video, provide observations of the evolving world state and should be modeled as future observations alongside video. We present ME-Dex-1.0 (MachEmbodied-Dex-1.0), a unified World Action Tactile Model for joint visual, tactile, and action learning. ME-Dex-1.0 adopts a Mixture-of-Transformers architecture comprising a Video Expert, a Tactile Expert, and an Action Expert, all trained with flow matching. We use shared attention connects the experts in intermediate layers, allowing action generation to draw on learned representations of visual and tactile dynamics during joint denoising. To support multi-source heterogeneous tactile inputs, a Canonical Hand Model and a Unified Tactile Autoencoder map tactile observations from different embodiments and sensing layouts into shared spatial and latent spaces. To address the limited availability of paired visual, tactile, and action data, we develop the Agentic Tactile Data Engine, an agent-based data production platform. It supplements RoboTwin and DexJoCo with tactile data recorded directly from force sensors during trajectory replay in simulation. Experiments on the RoboTwin, DexJoCo, and ManiFeel simulation platforms, together with real robot evaluations, demonstrate improved manipulation performance using both grippers and dexterous hands equipped with tactile sensing.
- Abstract（参考訳）: World Action Modelsは、ビデオモデルの予測機能をロボットアクション生成に持ち込み、将来の視覚状態をモデル化するための豊富な基盤を提供する。
触覚は物理的相互作用を直接測定することでこの基礎を補完する。
既存のいくつかの手法では、将来の触覚状態、視覚的観察、動作を共同予測することなく、触覚特徴を条件付け入力として使用している。
私たちの重要な洞察は、ビデオのような触覚信号が、進化する世界の状態を観察し、ビデオと一緒に将来の観察としてモデル化されるべきであるということです。
本稿では,共同視覚,触覚,行動学習のための世界行動触覚モデルであるME-Dex-1.0(MachEmbodied-Dex-1.0)を提案する。
ME-Dex-1.0では、ビデオエキスパート、触覚エキスパート、アクションエキスパートで構成されるMixture-of-Transformersアーキテクチャを採用している。
我々は、中間層の専門家を繋ぐ共有注意を用いて、関節の認知において、視覚的および触覚的ダイナミクスの学習された表現に基づいてアクション生成を行う。
多ソースの不均一な触覚入力をサポートするために、カノニカルハンドモデルと統一触覚オートエンコーダマップは、異なる実施形態から触覚を観察し、センシングレイアウトを共有空間と潜在空間に分割する。
視覚,触覚,行動データの組み合わせが限定的であることに対処するため,エージェントベースのデータ生成プラットフォームであるAgentic Tactile Data Engineを開発した。
これはRoboTwinとDexJoCoを、シミュレーション中の軌道リプレイ中にフォースセンサーから直接記録された触覚データで補う。
RoboTwin、DexJoCo、ManiFeelのシミュレーションプラットフォーム上での実験は、実際のロボット評価とともに、触覚センサーを備えたグッパーとデキスタスハンドの両方を用いた操作性能の向上を実証した。
関連論文リスト
- Bench2Dex: Benchmarking Visuo-Tactile Bimanual Dexterous Manipulation Across Dexterous Hands [99.00248904465089]
指の構造、接触面、センサーレイアウトが異なる。
本報告では,12手にわたるバイスオタクティルバイマニュアル操作のシミュレーションベンチマークであるBench2Dexについて述べる。
論文 参考訳（メタデータ） (2026-09-14T15:22:59Z) - ViTacWorld: Scaling Visuo-Tactile World Models for Contact-Rich Robot Manipulation [30.004466515831634]
ViTacWorldは、スケーラブルなコンタクトリッチロボット操作のためのアクションコンディション付きビズオ触覚世界モデルである。
これは触覚信号が物理的接触に直接接しており、純粋に視覚的な観察よりもシミュレーションと現実のギャップが小さいという事実を利用する。
ロボットの視覚触覚行動軌跡生成と政策評価に世界モデルを用いた最初のフレームワークである。
論文 参考訳（メタデータ） (2026-07-24T17:59:33Z) - TouchThinker: Scaling Tactile Commonsense Reasoning to the Open World with Large-scale Data and Action-aware Representation [50.608989079323784]
データと表現の両方の観点から,触覚コモンセンス推論をオープンワールドに拡張する触覚言語フレームワークであるTouchThinkerを提案する。
まず,Textbf415オブジェクト, textbf8シナリオ, textbf7センサタイプをカバーする,100万規模のマルチソース触覚推論データセットであるTouchThinker-1Mを構築した。
そこで本研究では,触覚表現効率を向上し,効率的な推論を可能にする行動認識モデリング機構を提案する。
論文 参考訳（メタデータ） (2026-06-10T03:58:32Z) - OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation [57.133721026727706]
textbfOmniViTacは,16ドルのタスクと100ドル以上のオブジェクトからなる21,000ドル以上のトラジェクトリからなる大規模ビズオタクティルアクションデータセットである。
我々は4つの密結合モジュールを統合する世界モデルベースのビジュオ触覚操作フレームワークである textbf OmniVTA を提案する。
論文 参考訳（メタデータ） (2026-03-19T17:52:42Z) - Grasp Like Humans: Learning Generalizable Multi-Fingered Grasping from Human Proprioceptive Sensorimotor Integration [26.351720551267846]
触覚と審美的知覚は、人間の器用な操作に欠かせないものであり、感覚運動器統合による物体の確実な把握を可能にしている。
本研究では,人間の直感的・自然な操作から模倣学習に基づくロボット実行へのスキル伝達を把握するための,新しい手袋による触覚的知覚予測フレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-10T07:44:12Z) - Combining Vision and Tactile Sensation for Video Prediction [0.0]
本研究では,触覚フィードバックを映像予測モデルに組み込んだ物理的ロボットインタラクションの効果について検討する。
磁気ベースの触覚センサを用いて教師なし学習を行うロボットプッシュの2つの新しいデータセットを紹介した。
以上の結果から,触覚フィードバックを映像予測モデルに組み込むことにより,シーン予測精度が向上し,エージェントの身体的相互作用に対する認識が向上することが示唆された。
論文 参考訳（メタデータ） (2023-04-21T18:02:15Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳（メタデータ） (2021-09-09T16:04:14Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-11T03:49:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。