論文の概要: Tac-DINO: Learning Vision-Tactile Features with Patch Alignment
- arxiv url: http://arxiv.org/abs/2606.12069v1
- Date: Wed, 10 Jun 2026 13:33:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.475642
- Title: Tac-DINO: Learning Vision-Tactile Features with Patch Alignment
- Title（参考訳）: Tac-Dino: パッチアライメントによる視覚触覚の学習
- Authors: Hong Li, Yankang Dong, Yue Xu, Yihan Tang, Mingzhu Li, Jiamin Qiu, Qihang Yao, Xing Zhu, Yujun Shen, Nan Xue, Yong-Lu Li,
- Abstract要約: 我々は505個の現実世界のオブジェクトから20K以上の触覚接触を持つ大規模触覚データセットを取得するためのデータ収集システムを構築した。
次に、視覚触覚の局所-グローバルアライメント能力を評価するために、Vis-Tacホログラフィマッチングベンチマークを設計する。
次に,視覚触覚表現学習のための視覚触覚パッチアライメント(VTPA)手法を提案する。
- 参考スコア（独自算出の注目度）: 47.4807111947232
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Touch is the primary medium through which humans interact with the environment. Currently, tactile learning mainly focuses on image-level pretraining or alignment. However, tactile signals correspond to local object contact, while research into scale alignment and holographic matching remains limited and proper datasets and benchmarks also lack. To bridge this gap, we first construct a data collection system to acquire a large-scale tactile dataset, with over 20 K tactile contacts from 505 real-world objects. Building on this dataset, we design a Vis-Tac Holographic Matching Benchmark to evaluate vision-tactile local-to-global alignment ability. Then we propose Vision-Tactile Patch Alignment (VTPA) methods for vision-tactile representation learning. Experiments demonstrate that these exceed the performance of methods without alignment and align with whole-object images.
- Abstract（参考訳）: タッチは人間が環境と対話する主要な媒体である。
現在、触覚学習は主にイメージレベルの事前学習やアライメントに焦点を当てている。
しかし、触覚信号は局所的な物体接触に対応するが、スケールアライメントやホログラムマッチングの研究は依然として限られており、適切なデータセットやベンチマークも欠落している。
このギャップを埋めるために、我々はまず505個の現実世界のオブジェクトから20K以上の触覚接触を持つ大規模触覚データセットを取得するデータ収集システムを構築した。
このデータセットに基づいて、視覚触覚の局所-グローバルアライメント能力を評価するために、Vis-Tacホログラフィマッチングベンチマークを設計する。
次に,視覚触覚表現学習のための視覚触覚パッチアライメント(VTPA)手法を提案する。
実験により、これらは全対象画像との整合性や整合性のない手法の性能を上回ることを示した。
関連論文リスト
- TouchThinker: Scaling Tactile Commonsense Reasoning to the Open World with Large-scale Data and Action-aware Representation [50.608989079323784]
データと表現の両方の観点から,触覚コモンセンス推論をオープンワールドに拡張する触覚言語フレームワークであるTouchThinkerを提案する。
まず,Textbf415オブジェクト, textbf8シナリオ, textbf7センサタイプをカバーする,100万規模のマルチソース触覚推論データセットであるTouchThinker-1Mを構築した。
そこで本研究では,触覚表現効率を向上し,効率的な推論を可能にする行動認識モデリング機構を提案する。
論文 参考訳（メタデータ） (2026-06-10T03:58:32Z) - Seeing Through Touch: Tactile-Driven Visual Localization of Material Regions [42.26043073031702]
触覚局所化の問題に対処し,触覚入力と同じ材料特性を持つ画像領域を同定する。
既存のvisuo-tactile法は、グローバルアライメントに依存しているため、このタスクに必要なきめ細かいローカル通信をキャプチャできない。
そこで本研究では,密接なクロスモーダルな特徴相互作用を通じて局所的ビジュオ・触覚アライメントを学習し,触覚サーチエンシマップによるタッチ条件物質セグメンテーションを実現するモデルを提案する。
論文 参考訳（メタデータ） (2026-04-13T14:57:52Z) - OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation [57.133721026727706]
textbfOmniViTacは,16ドルのタスクと100ドル以上のオブジェクトからなる21,000ドル以上のトラジェクトリからなる大規模ビズオタクティルアクションデータセットである。
我々は4つの密結合モジュールを統合する世界モデルベースのビジュオ触覚操作フレームワークである textbf OmniVTA を提案する。
論文 参考訳（メタデータ） (2026-03-19T17:52:42Z) - Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation [82.63833405368159]
ツール操作の一般化には、セマンティックプランニングと正確な物理的制御の両方が必要である。
本研究では,密接な接触推定を伴う視覚的意味論を融合した3次元表現であるセマンティック・コンタクト・フィールド(SCFields)を提案する。
スクレイピング、クレヨン描画、剥離の実験は、堅牢なカテゴリレベルの一般化を示している。
論文 参考訳（メタデータ） (2026-02-14T16:05:08Z) - OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。
触覚信号は,理解のためのコンパクトで強力なキューを提供する。
我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
論文 参考訳（メタデータ） (2025-12-18T18:18:17Z) - Tactile MNIST: Benchmarking Active Tactile Perception [19.93022179513013]
本稿では,触覚タスクのためのオープンソースのGymnasium互換ベンチマークであるTactile MNIST Benchmark Suiteを紹介する。
私たちのベンチマークスイートは、単純な玩具環境から視覚ベースの触覚センサーを用いた複雑な触覚知覚タスクまで、さまざまなシミュレーションシナリオを提供しています。
また,600個の3Dプリントディジットから収集した合成3D MNIST桁モデル13,500点と実世界の触覚サンプル153,600点からなる包括的データセットも提供する。
論文 参考訳（メタデータ） (2025-06-03T14:42:16Z) - Visual-Tactile Sensing for In-Hand Object Reconstruction [38.42487660352112]
我々は、視覚触覚による手動オブジェクト再構成フレームワーク textbfVTacO を提案し、手動オブジェクト再構成のために textbfVTacOH に拡張する。
シミュレーション環境であるVT-Simは、剛性オブジェクトと変形可能なオブジェクトの両方のハンドオブジェクトインタラクションの生成をサポートする。
論文 参考訳（メタデータ） (2023-03-25T15:16:31Z) - Touch and Go: Learning from Human-Collected Vision and Touch [16.139106833276]
我々はTouch and Goという,視覚と触覚のペアデータを用いたデータセットを提案する。
人間のデータ収集者は触覚センサーを使って自然環境の物体を探査する。
私たちのデータセットは、多数の"野生の"オブジェクトとシーンにまたがっています。
論文 参考訳（メタデータ） (2022-11-22T18:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。