論文の概要: HapTile: A Haptic-Informed Vision-Tactile-Language-Action Dataset for Contact-Rich Imitation Learning

• arxiv url: http://arxiv.org/abs/2606.04825v1
• Date: Wed, 03 Jun 2026 12:48:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.761433
• Title: HapTile: A Haptic-Informed Vision-Tactile-Language-Action Dataset for Contact-Rich Imitation Learning
• Title（参考訳）: HapTile: 接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・接点・
• Authors: Amirhosein Alian, Yongqiang Zhao, Shiyi Gu, Xuyang Zhang, Zhuo Chen, Christopher E. Mower, Haitham Bou-Ammar, Shan Luo,
• Abstract要約: HapTileは、視覚のみのトラジェクトリデータセットを超えて前進する、接地型ビズオタクティル操作データセットである。 データ収集プラットフォームは、触覚フィードバックを直接遠隔操作コントローラに統合し、オペレータがリアルタイムでコンタクトインタラクションを知覚できるようにする。 データセットは、ピック・アンド・プレイス、折り畳み、押圧、積み重ね、その他のルーチンアクティビティを含む、幅広いコンタクト豊富なスキルにまたがる日々の操作タスクで構成されている。
• 参考スコア（独自算出の注目度）: 24.64460457808404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the importance of tactile sensing for reliable manipulation, most existing Vision-Language-Action (VLA) datasets remain vision-only, and those that do incorporate tactile information typically lack the joint combination of task diversity, language conditioning, and action trajectories. Furthermore, existing teleoperation pipelines rarely provide haptic feedback to the operator, despite its established role in demonstration quality and manipulation stability. In this work, we present HapTile, a contact-grounded visuotactile manipulation dataset that advances beyond vision-only trajectory datasets by embedding physical interaction sensing at two levels: fingertip tactile feedback at the robot end-effector, and haptic-informed demonstrations at the teleoperator side. The data collection platform integrates haptic feedback directly into the teleoperation controller, enabling the operator to perceive contact interactions in real time. It is built around a standard and reproducible robotic system equipped with custom-designed fingertip tactile sensors. The dataset comprises everyday manipulation tasks spanning a broad range of contact-rich skills, including pick-and-place, folding, pressing, stacking, and other routine activities. Each task is paired with language instructions that condition the policy on the manipulation objective, together with synchronized visuotactile observations and action trajectories. In addition, we provide a benchmarking study on contact-rich policy learning using two baseline models to evaluate the effectiveness of the proposed contact-grounded dataset. The dataset and additional details are available on our website: haptile-dataset.github.io.
• Abstract（参考訳）: 信頼性の高い操作のための触覚センシングの重要性にもかかわらず、既存のビジョン・ランゲージ・アクション(VLA)データセットのほとんどは視覚のみであり、触覚情報を組み込んだものは通常、タスクの多様性、言語条件、行動軌跡の結合を欠いている。 さらに、既存の遠隔操作パイプラインは、実演品質と操作安定性が確立されているにもかかわらず、オペレーターに触覚フィードバックを提供することは滅多にない。 本研究では,ロボットのエンドエフェクタにおける指先触覚フィードバックと,遠隔操作側における触覚インフォームドデモの2つのレベルに物理インタラクションセンサを埋め込むことにより,視覚のみの軌跡データセットを超えて進行するコンタクト接地型ビゾタクタクタ操作データセットであるHapTileを紹介する。 データ収集プラットフォームは、触覚フィードバックを直接遠隔操作コントローラに統合し、オペレータがリアルタイムでコンタクトインタラクションを知覚できるようにする。 これは、カスタムデザインの指先触覚センサーを備えた、標準的な再現可能なロボットシステムを中心に構築されている。 データセットは、ピック・アンド・プレイス、折り畳み、押圧、積み重ね、その他のルーチンアクティビティを含む、幅広いコンタクト豊富なスキルにまたがる日々の操作タスクで構成されている。 各タスクは、操作対象のポリシーを条件づける言語命令と、同期されたビズオタクティル観察と行動軌跡とが組み合わされる。 さらに,2つのベースラインモデルを用いて,接触基盤データセットの有効性を評価することで,接触リッチな政策学習のベンチマークを行う。 データセットと追加の詳細は、私たちのWebサイト、haptile-dataset.github.ioで公開されています。

関連論文リスト

• Tactile-based Multimodal Fusion in Embodied Intelligence: A Survey of Vision, Language, and Contact-Driven Paradigms [70.51538670020267]
  本稿では,フィールドを2つの主次元(マルチモーダルデータセットとマルチモーダルメソッド)に分類する階層型分類法を提案する。 データ側では、Tactile-Visionデータセット、Tactile-Languageデータセット、Tactile-Vision-Languageデータセット、Tactile-Vision-Otherデータセットを含むリソースを分類する。 提案手法は,(1)マルチモーダル認識・認識,(2)クロスモーダル生成,(2)触覚・視覚・テキスト間の双方向翻訳,(3)マルチモーダルインタラクション,フィードバック制御と言語誘導操作の3つの柱に先行して構成する。
  論文  参考訳（メタデータ） (2026-05-17T09:09:30Z)
• VTouch++: A Multimodal Dataset with Vision-Based Tactile Enhancement for Bimanual Manipulation [10.08235353271524]
  近年、身体知能は急速に進歩しているが、特に接触に富むタスクにおけるバイマニュアル操作は依然として困難である。 これは主に、リッチな物理的相互作用信号、システマティックなタスク編成、十分なスケールのデータセットが不足しているためである。 VTOUCHデータセットを導入し、高忠実な物理的相互作用信号を提供し、マトリックススタイルのタスク設計を採用し、実世界の需要駆動シナリオをカバーする自動データ収集パイプラインを採用する。
  論文  参考訳（メタデータ） (2026-04-22T11:08:08Z)
• TAMEn: Tactile-Aware Manipulation Engine for Closed-Loop Data Collection in Contact-Rich Tasks [16.262130849751312]
  TAMEnは、連絡先の多いタスクでクローズドループデータ収集を行う、触覚対応の操作エンジンである。 本システムは異種グリップの高速適応を可能にするクロスモルフォロジー・ウェアラブルインタフェースを備えている。 提案するビジュオ触覚学習フレームワークは,多種多様な操作タスクにおいて,タスク成功率を34%から75%に向上させる。
  論文  参考訳（メタデータ） (2026-04-08T17:49:35Z)
• OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation [57.133721026727706]
  textbfOmniViTacは,16ドルのタスクと100ドル以上のオブジェクトからなる21,000ドル以上のトラジェクトリからなる大規模ビズオタクティルアクションデータセットである。 我々は4つの密結合モジュールを統合する世界モデルベースのビジュオ触覚操作フレームワークである textbf OmniVTA を提案する。
  論文  参考訳（メタデータ） (2026-03-19T17:52:42Z)
• TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance [53.35296919674763]
  TouchGuideは、低次元のアクション空間内でモダリティを融合させる、クロス政治的なビズオ触覚融合パラダイムである。 TouchGuideは、事前訓練された拡散またはフローマッチングビズモータポリシーをガイドする2つの段階で動作する。 高品質で費用対効果の高いデータによるTouchGuideトレーニングを容易にするために,データ収集システムであるTacUMIを導入する。
  論文  参考訳（メタデータ） (2026-01-28T04:22:47Z)
• OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
  OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。 触覚信号は,理解のためのコンパクトで強力なキューを提供する。 我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
  論文  参考訳（メタデータ） (2025-12-18T18:18:17Z)
• Touch in the Wild: Learning Fine-Grained Manipulation with a Portable Visuo-Tactile Gripper [7.618517580705364]
  触覚センサーを内蔵した携帯型軽量グリップについて述べる。 視覚信号と触覚信号を統合するクロスモーダル表現学習フレームワークを提案する。 試験管挿入や管状流体移動などの細粒度タスクに対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-07-20T17:53:59Z)
• Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
  マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。 以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
  論文  参考訳（メタデータ） (2024-04-25T17:59:41Z)
• Touch and Go: Learning from Human-Collected Vision and Touch [16.139106833276]
  我々はTouch and Goという,視覚と触覚のペアデータを用いたデータセットを提案する。 人間のデータ収集者は触覚センサーを使って自然環境の物体を探査する。 私たちのデータセットは、多数の"野生の"オブジェクトとシーンにまたがっています。
  論文  参考訳（メタデータ） (2022-11-22T18:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。