論文の概要: $\mathcal{N}_0$-Foundation: Towards the Age of Tactile Intelligence
- arxiv url: http://arxiv.org/abs/2608.29601v1
- Date: Sun, 30 Aug 2026 06:46:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.016483
- Title: $\mathcal{N}_0$-Foundation: Towards the Age of Tactile Intelligence
- Title(参考訳): $\mathcal{N}_0$-Foundation: Towards the Age of Tactile Intelligence
- Authors: NeoteAI Team, Fudan TEAI Team,
- Abstract要約: $mathcalN$-Foundationは触覚対応の操作のためのパラダイムである。
我々は、視覚ベースの触覚センサ、触覚のユニバーサルマニピュレーションインタフェース(UMI)、ビジュオ触覚データ収集システムを含む、スケーラブルなデータ収集のためのインフラを設計した。
実ロボット遠隔操作とUMIベースのデモを混合して収集した,6つの実施形態,450のタスク,数十億のペアリングRGBおよび触覚フレームにまたがる,30000時間以上の視覚的および触覚的デモンストレーションを含むNeoDataを構築した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present $\mathcal{N}_0$-Foundation, a paradigm for tactile-enabled embodied manipulation, which integrates tactile sensing hardware, large-scale multimodal data, tactile representation learning, and standardized evaluation. First, we engineer the infrastructure for scalable data collection, including a vision-based tactile sensor, a tactile Universal Manipulation Interface (UMI), and a synchronized visuo-tactile data collection system supporting both robot embodiments and UMI-based demonstrations. Leveraging this infrastructure, we construct NeoData, which contains more than 30000 hours of synchronized visual and tactile demonstrations, spanning six embodiments, 450 tasks, and billions of paired RGB and tactile frames collected through a mixture of real-robot teleoperation and UMI-based demonstrations. To facilitate open research, we further release OpenNeoData, a 5000-hour open-source subset of NeoData. The dataset addresses a central limitation of existing manipulation corpora, critical for deformable-object manipulation, precise assembly, delicate force control, and sustained surface interaction. Capitalizing on the large-scale, heterogeneous tactile measurements, we propose NeoForce, a visuo-tactile representation model that learn transferable tactile representations across different sensor designs. To enable systematic evaluation of tactile embodied models built upon our infrastructure, datasets and tactile representations, we further propose a comprehensive benchmark, which combines the real-world NeoReal suite and the simulated NeoSim suite for standardized evaluation. Experiments across both suites show that policies benefit from the physical contact state rather than from the device-specific appearance of the tactile signal. We release the dataset, the representation, and the benchmark, aiming at supporting future work on tactile-enabled embodied manipulation.
- Abstract(参考訳): 本稿では,触覚認識ハードウェア,大規模マルチモーダルデータ,触覚表現学習,標準化された評価を統合した触覚操作のパラダイムである$\mathcal{N}_0$-Foundationを提案する。
まず,視覚ベースの触覚センサ,触覚のユニバーサルマニピュレーションインタフェース(UMI),ロボットエンボディメントとUMIベースのデモをサポートする同期型ビジュオ触覚データ収集システムなど,スケーラブルなデータ収集のためのインフラを構築した。
実際のロボット遠隔操作とUMIベースのデモの混合によって収集された、6つの実施形態、450のタスク、数十億のペアリングされたRGBと触覚フレームにまたがる30000時間以上の視覚的および触覚的なデモを含むNeoDataを構築した。
オープンな研究を容易にするため、NeoDataの5000時間のオープンソースサブセットであるOpenNeoDataもリリースしています。
データセットは、変形可能なオブジェクト操作、正確なアセンブリ、微妙な力制御、持続的な表面相互作用に不可欠な既存の操作コーパスの中央限に対処する。
大規模で異質な触覚測定に乗じて,異なるセンサ設計間で伝達可能な触覚表現を学習するビジュオ触覚表現モデルNeoForceを提案する。
インフラ,データセット,触覚表現上に構築された触覚埋め込みモデルの体系的評価を実現するため,実世界のNeoRealスイートとシミュレートされたNeoSimスイートを組み合わせた総合的なベンチマークを提案する。
両スイートでの実験では、ポリシーは触覚信号のデバイス固有の外観よりも、物理的な接触状態の恩恵を受けている。
このデータセット、表現、およびベンチマークを公開し、触覚対応の具体的操作に関する今後の研究を支援することを目的としている。
関連論文リスト
- TouchThinker: Scaling Tactile Commonsense Reasoning to the Open World with Large-scale Data and Action-aware Representation [50.608989079323784]
データと表現の両方の観点から,触覚コモンセンス推論をオープンワールドに拡張する触覚言語フレームワークであるTouchThinkerを提案する。
まず,Textbf415オブジェクト, textbf8シナリオ, textbf7センサタイプをカバーする,100万規模のマルチソース触覚推論データセットであるTouchThinker-1Mを構築した。
そこで本研究では,触覚表現効率を向上し,効率的な推論を可能にする行動認識モデリング機構を提案する。
論文 参考訳(メタデータ) (2026-06-10T03:58:32Z) - OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation [57.133721026727706]
textbfOmniViTacは,16ドルのタスクと100ドル以上のオブジェクトからなる21,000ドル以上のトラジェクトリからなる大規模ビズオタクティルアクションデータセットである。
我々は4つの密結合モジュールを統合する世界モデルベースのビジュオ触覚操作フレームワークである textbf OmniVTA を提案する。
論文 参考訳(メタデータ) (2026-03-19T17:52:42Z) - UniVTAC: A Unified Simulation Platform for Visuo-Tactile Manipulation Data Generation, Learning, and Benchmarking [47.900334665380115]
シミュレーションベースのビジュオ触覚データプラットフォームUniVTACを提案する。
大規模なシミュレーション合成データに基づいて訓練されたビジュオ触覚エンコーダであるUniVTACエンコーダを紹介する。
代表的な8つのビジュオ触覚操作タスクからなるUniVTACベンチマークを提案する。
論文 参考訳(メタデータ) (2026-02-10T18:57:00Z) - Tactile MNIST: Benchmarking Active Tactile Perception [19.93022179513013]
本稿では,触覚タスクのためのオープンソースのGymnasium互換ベンチマークであるTactile MNIST Benchmark Suiteを紹介する。
私たちのベンチマークスイートは、単純な玩具環境から視覚ベースの触覚センサーを用いた複雑な触覚知覚タスクまで、さまざまなシミュレーションシナリオを提供しています。
また,600個の3Dプリントディジットから収集した合成3D MNIST桁モデル13,500点と実世界の触覚サンプル153,600点からなる包括的データセットも提供する。
論文 参考訳(メタデータ) (2025-06-03T14:42:16Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-11T03:49:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。