論文の概要: UniTac: A Unified Multimodal Model for Cross-Sensor Tactile Understanding and Generation

• arxiv url: http://arxiv.org/abs/2606.31451v1
• Date: Tue, 30 Jun 2026 10:25:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.174357
• Title: UniTac: A Unified Multimodal Model for Cross-Sensor Tactile Understanding and Generation
• Title（参考訳）: UniTac: クロスセンサー触覚理解と生成のための統一型マルチモーダルモデル
• Abstract要約: 触覚の理解と生成を目的とした初のUMMであるUniTacを提案する。 UniTacは、触覚プロセスを非接触から接触への移行としてモデル化し、デュアルレベル表現を通じてセンサーとオブジェクト間の物理的相互作用をキャプチャする。 触覚理解のために、UniTacはオブジェクトのプロパティ記述とセンサー識別という2つのタスクを導入し、物理的およびクロスセンサー情報に対する推論を強化する。 触覚生成のための2段階のトレーニングパラダイムを設計し,実際の触覚接触をシミュレートするセンサ・プライア・サンプリング・ストラテジーと組み合わせた。
• 参考スコア（独自算出の注目度）: 31.729644010916576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified multimodal models (UMMs) have shown great promise in integrating understanding and generation across diverse modalities. However, existing research rarely extends this paradigm to the tactile domain, where both object-level semantics and sensor-level configurations jointly determine the meaning of touch. To address this gap, we propose UniTac, the first UMM designed for tactile understanding and generation. UniTac models the tactile process as a transition from non-contact to contact, capturing the physical interaction between sensors and objects through a dual-level representation that encodes both sensor and object attributes. For tactile understanding, UniTac introduces two tasks, object property description and sensor identification, to enhance reasoning over physical and cross-sensor information. For tactile generation, we design a two-stage training paradigm consisting of reconstruction and alignment, together with a sensor-prior-based sampling strategy that simulates realistic tactile contact. Trained on large-scale multi-sensor datasets, UniTac achieves state-of-the-art performance in tactile understanding and generates realistic tactile signals across sensors.
• Abstract（参考訳）: 統一マルチモーダルモデル (UMM) は様々なモダリティにまたがる理解と生成を統合する上で大きな可能性を示している。 しかし、既存の研究は、このパラダイムを触覚領域にまで拡張することは滅多になく、オブジェクトレベルの意味論とセンサーレベルの構成の両方がタッチの意味を共同で決定する。 このギャップに対処するために,触覚理解と生成のために設計された最初のUMMであるUniTacを提案する。 UniTacは、触覚プロセスを非接触から接触への移行としてモデル化し、センサーとオブジェクトの両方の属性をエンコードするデュアルレベル表現を通じて、センサーとオブジェクトの間の物理的相互作用をキャプチャする。 触覚理解のために、UniTacはオブジェクトのプロパティ記述とセンサー識別という2つのタスクを導入し、物理的およびクロスセンサー情報に対する推論を強化する。 触覚生成のために,触覚接触をシミュレートするセンサ・プライア・サンプリング・ストラテジーとともに,再構成とアライメントからなる2段階の訓練パラダイムを設計する。 大規模なマルチセンサーデータセットに基づいてトレーニングされたUniTacは、触覚理解における最先端のパフォーマンスを実現し、センサー間のリアルな触覚信号を生成する。

関連論文リスト

• VQ-Touch: A Data-Efficient Tactile Generation Framework Across Sensors and Scenarios [7.9567869558684094]
  VQ-Touchは、クロスセンサーとマルチシナリオアプリケーションの両方をサポートする触覚生成フレームワークである。 データから複雑な変形やテクスチャの特徴を効率的に抽出するために,DM-VQGANを提案する。 本稿では,画像やラベルなどのマルチモーダル生成タスクをサポートする統一された条件付けインタフェースを備えた離散拡散デコーダを提案する。
  論文  参考訳（メタデータ） (2026-07-16T08:53:41Z)
• Heterogeneous Tactile Transformer [12.676986440348543]
  Heterogeneous Tactile Transformer (HTT)は、異種センサ間の共用触覚表現を学習するフレームワークである。 Pretrainingは、新しいHeterogeneous Paired Tactileデータセットを使用し、4つの視覚およびアレイベースの触覚センサーに1.6Mの同期フレームを含む。 HTTは、新しいタスクや以前は目に見えないセンサーに適応する転送可能な表現を学習することが示されている。
  論文  参考訳（メタデータ） (2026-06-29T08:24:38Z)
• Tactile-based Multimodal Fusion in Embodied Intelligence: A Survey of Vision, Language, and Contact-Driven Paradigms [70.51538670020267]
  本稿では,フィールドを2つの主次元(マルチモーダルデータセットとマルチモーダルメソッド)に分類する階層型分類法を提案する。 データ側では、Tactile-Visionデータセット、Tactile-Languageデータセット、Tactile-Vision-Languageデータセット、Tactile-Vision-Otherデータセットを含むリソースを分類する。 提案手法は,(1)マルチモーダル認識・認識,(2)クロスモーダル生成,(2)触覚・視覚・テキスト間の双方向翻訳,(3)マルチモーダルインタラクション,フィードバック制御と言語誘導操作の3つの柱に先行して構成する。
  論文  参考訳（メタデータ） (2026-05-17T09:09:30Z)
• Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation [82.63833405368159]
  ツール操作の一般化には、セマンティックプランニングと正確な物理的制御の両方が必要である。 本研究では,密接な接触推定を伴う視覚的意味論を融合した3次元表現であるセマンティック・コンタクト・フィールド(SCFields)を提案する。 スクレイピング、クレヨン描画、剥離の実験は、堅牢なカテゴリレベルの一般化を示している。
  論文  参考訳（メタデータ） (2026-02-14T16:05:08Z)
• UniForce: A Unified Latent Force Model for Robot Manipulation with Diverse Tactile Sensors [51.88112610411651]
  そこで本研究では,多様な触覚センサにまたがる共用潜在力空間を学習する,新しい統合された触覚表現学習フレームワークを提案する。 UniForceは、逆ダイナミクス(image-to-force)とフォワードダイナミクス(force-to-image)を共同モデリングすることで、クロスセンサー領域シフトを低減する 高価な外部力/トルクセンサ(F/T)への依存を避けるため,静的平衡を利用して直接センサ・オブジェクト・センサ・インタラクションを介して力対効果データを収集する。
  論文  参考訳（メタデータ） (2026-02-01T11:03:01Z)
• Collaborative Representation Learning for Alignment of Tactile, Language, and Vision Modalities [19.45726946555448]
  触覚は視覚と言語に豊かで相補的な情報を提供し、ロボットはきめ細かい物体の性質を知覚することができる。 既存の手法では、触覚、言語、視覚のモダリティ間の中間的コミュニケーションを完全に統合することができない。 TLV-CoReは,CLIPをベースとした触覚・言語・視覚協調表現学習手法である。
  論文  参考訳（メタデータ） (2025-11-14T17:34:20Z)
• AnyTouch: Learning Unified Static-Dynamic Representation across Multiple Visuo-tactile Sensors [11.506370451126378]
  Visuo-Tactileセンサーは、人間の触覚をエミュレートし、ロボットが物体を理解して操作できるようにする。 そこで本研究では,4種類のビジュオ触覚センサを用いたマルチモーダル触覚マルチセンサデータセットであるTacQuadを紹介する。 マルチレベル構造を持つ静的動的マルチセンサ表現学習フレームワークであるAnyTouchを提案する。
  論文  参考訳（メタデータ） (2025-02-15T08:33:25Z)
• Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
  触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。 EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。 さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:49:59Z)
• Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition [131.6328804788164]
  本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。 SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
  論文  参考訳（メタデータ） (2020-09-01T03:38:31Z)
• OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
  既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。 我々は,多方向高解像度触覚センサOmniTactを紹介する。 我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
  論文  参考訳（メタデータ） (2020-03-16T01:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。