論文の概要: $N_0$-VTLA: Scaling Vision-Tactile-Language-Action Model with Latent Tactile Tokens
- arxiv url: http://arxiv.org/abs/2607.23782v1
- Date: Sun, 26 Jul 2026 17:58:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.225489
- Title: $N_0$-VTLA: Scaling Vision-Tactile-Language-Action Model with Latent Tactile Tokens
- Title（参考訳）: $N_0$-VTLA:潜在触覚トークンを用いた視触覚-言語-反応モデルのスケーリング
- Abstract要約: 本稿では,触覚知覚と触覚フィードバック制御を併用した接触リッチな微粒化操作が可能な視覚触覚言語反応(VTLA)基盤モデルを提案する。
本研究では, 触覚前訓練, 段階的触覚-パスウェイ統合, 利点条件付きオフラインポリシー改善からなる触覚統合のトレーニングレシピを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present $N_0$-VTLA, a vision-tactile-language-action (VTLA) foundation model capable of (1) fine-grained contact-rich manipulation with tactile perception and tactile-feedback control, and (2) offline policy improvement from stored deployment data. Building on current vision-based backbones, we propose a training recipe for tactile integration consisting of visuo-tactile pre-training, staged tactile-pathway integration, and advantage-conditioned offline policy improvement. During pre-training, the policy learns broad contact priors from NeoData, our large-scale visuo-tactile robot dataset; to our knowledge, $N_0$-VTLA is the first VTLA model pretrained on tactile data at scale. During post-training, we augment the policy with a predictive tactile pathway that distills the contact patterns learned at scale into the fine motion adjustments required by downstream tactile-centric manipulation. For offline policy improvement, we introduce ALTER, an advantage-conditioned offline reinforcement learning method that converts relative progress and trajectory-event comparisons into binary advantage labels for policy training on a fixed deployment corpus, further improving task-specific learning on contact-rich skills such as deformable object manipulation. Across contact-rich benchmarks, $N_0$-VTLA outperforms strong baselines by wide margins: it wins all nine real-robot NeoReal tasks and reaches 63.8% mean success on a twenty-task simulation suite, against 44.0% for the strongest baseline. $N_0$-VTLA policies trained with ALTER reach 75-95% success on three long-horizon real-robot tasks. These results lay a foundation for versatile tactile-driven manipulation policies.
- Abstract（参考訳）: 我々は,(1)触覚認識と触覚フィードバック制御による細粒度接触リッチな操作が可能な視覚触覚言語アクション(VTLA)基盤モデルであるN_0$-VTLAと,(2)格納された展開データからのオフラインポリシー改善について述べる。
現状の視覚ベースのバックボーンをベースとして,視覚触覚前訓練,触覚-経路統合,利点条件付きオフラインポリシー改善による触覚統合のトレーニングレシピを提案する。
われわれの知る限り、N_0$-VTLAは触覚データに基づいて事前訓練された最初のVTLAモデルである。
トレーニング後,我々は,下流の触覚中心の操作に必要な微妙な運動調整に大規模に学習した接触パターンを蒸留する,予測的触覚経路でポリシーを強化する。
オフラインのポリシー改善のために、ALTERを導入する。ALTERは、相対的な進捗と軌跡比較を二元的有利ラベルに変換し、固定配置コーパス上でポリシートレーニングを行い、変形可能なオブジェクト操作などのコンタクトリッチなスキルに関するタスク特化学習を改善する。
N_0$-VTLAは9つの実ロボットNeoRealタスクすべてに勝利し、23タスクのシミュレーションスイートで63.8%、最強のベースラインでは44.0%に達した。
ALTERでトレーニングされた$N_0$-VTLAポリシーは、3つの長距離リアルタイムロボットタスクで75-95%の成功を達成した。
これらの結果は、多用途の触覚駆動操作ポリシーの基礎を築いた。
関連論文リスト
- $N_0$-TWAM: Scaling Tactile-Native World-Action Model for Contact-Rich Manipulation [0.0]
我々は,将来の視覚と将来の接触の両方を予測する,接触リッチな操作のための触覚的世界行動モデルを提案する。
我々の知る限り、これは大規模に訓練された最初の触覚世界行動モデルであり、コンタクトリッチなタスクに強い能力を示す。
我々は、力に基づく統合された触覚表現であるNeoForceを使用して、アクション生成を条件とした物理的接点信号を形成する。
論文 参考訳（メタデータ） (2026-07-26T17:58:53Z) - TACO: TActile World Model as a Self-COrrector forScalable VLA Post-Training [79.94818813802682]
TACOは触覚を意識したワールドモデル駆動型フレームワークで,コンタクトリッチな操作において,スケーラブルなVLAポストトレーニングを実現する。
TACOは、触覚矯正をVLA後トレーニングに組み込むため、知識を取り入れた触覚適応と有利な条件のトレーニングを組み合わせる。
論文 参考訳（メタデータ） (2026-07-03T00:23:30Z) - T-Rex: Tactile-Reactive Dexterous Manipulation [139.71263755530654]
本稿では,新しい時相触覚VQ-VAEエンコーダを備えた可変レートMixture-of-Transformers (MoT)アーキテクチャを提案する。
微妙な力制御と変形可能な物体操作を必要とする12の操作課題に対して,触覚反応が有効であることを示す。
論文 参考訳（メタデータ） (2026-06-15T17:59:55Z) - TacCoRL: Integrating Tactile Feedback into VLA via Simulation [38.963250081631834]
視覚言語アクション(VLA)モデルは、ロボット操作のための強力な視覚、言語、行動の優先順位を提供する。
我々は、VLAポリシーに触覚フィードバックを注入するスケーラブルなフレームワークであるTacCoRLを提案する。
我々は,接触操作のためのクローズドループトレーニング環境として,実列シミュレータを用いる。
論文 参考訳（メタデータ） (2026-06-10T07:20:36Z) - TORL-VLA: Tactile Guided Online Reinforcement Learning for Contact-Rich Manipulation [24.661831588991898]
TORL-VLAは、触覚フィードバックとポリシーの強化を組み合わせた、コンタクトリッチな操作のためのオンライン強化学習フレームワークである。
本手法では, 触覚由来のレンチ認識型VLAを用いて, 参照動作と将来のレンチシーケンスを予測する。
探索的政策と人為的介入の混成データから学習を安定させるために,介入検閲された評論家を紹介する。
論文 参考訳（メタデータ） (2026-06-08T11:05:05Z) - EXPO-FT: Sample-Efficient Reinforcement Learning Finetuning for Vision-Language-Action Models [84.73890225707264]
提案するEXPO-FTは,事前学習したVLAポリシーの安定かつサンプル効率の良いRL微調整システムである。
本システムは,オンラインロボットデータの平均19.1分以内の全ての評価課題に対して,完全なタスク性能(30/30の成功)を実現する。
我々は、ロボット工学におけるVLAモデルのより広範なRLファインタニング導入を促進することを目的とした、オープンソースのロバスト性をリリースする。
論文 参考訳（メタデータ） (2026-05-25T06:31:03Z) - OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation [57.133721026727706]
textbfOmniViTacは,16ドルのタスクと100ドル以上のオブジェクトからなる21,000ドル以上のトラジェクトリからなる大規模ビズオタクティルアクションデータセットである。
我々は4つの密結合モジュールを統合する世界モデルベースのビジュオ触覚操作フレームワークである textbf OmniVTA を提案する。
論文 参考訳（メタデータ） (2026-03-19T17:52:42Z) - UniVTAC: A Unified Simulation Platform for Visuo-Tactile Manipulation Data Generation, Learning, and Benchmarking [47.900334665380115]
シミュレーションベースのビジュオ触覚データプラットフォームUniVTACを提案する。
大規模なシミュレーション合成データに基づいて訓練されたビジュオ触覚エンコーダであるUniVTACエンコーダを紹介する。
代表的な8つのビジュオ触覚操作タスクからなるUniVTACベンチマークを提案する。
論文 参考訳（メタデータ） (2026-02-10T18:57:00Z) - VLA-Touch: Enhancing Vision-Language-Action Models with Dual-Level Tactile Feedback [21.08021535027628]
VLA-Touchは、触覚センサを用いた汎用ロボットポリシーを強化するアプローチである。
提案手法では,(1)高レベルタスク計画のためのセマンティックな触覚フィードバックを提供する事前学習された触覚言語モデルを利用するパイプラインと,(2)コンタクトリッチな操作のための触覚信号を用いたVLA生成動作を洗練する拡散型コントローラの2つを導入している。
論文 参考訳（メタデータ） (2025-07-23T07:54:10Z) - ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation [62.58034332427291]
ForceVLAは、新しいエンドツーエンド操作フレームワークである。
外部力センシングは、VLAシステム内の第一級のモダリティとして扱う。
論文 参考訳（メタデータ） (2025-05-28T09:24:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。