論文の概要: TAP-VLA: Tactile Annotation Prompting for Vision Language Action Models
- arxiv url: http://arxiv.org/abs/2606.29089v1
- Date: Sat, 27 Jun 2026 21:06:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.783237
- Title: TAP-VLA: Tactile Annotation Prompting for Vision Language Action Models
- Title（参考訳）: TAP-VLA:視覚言語行動モデルのための触覚アノテーションプロンプト
- Abstract要約: アーキテクチャの変更ではなく,視覚的な拡張を通じて触覚フィードバックを提供する,シンプルなフレームワークを提案する。
アーキテクチャは非タッチであるため、触覚による事前トレーニングは不要で、無視可能な計算を追加し、事前トレーニングの分布に近づき続ける。
4つのコンタクト豊富なタスクの中で、TAP-VLAは78%の試験で成功し、視覚のみの微調整と代替の触覚融合ベースラインでは50%以下である。
- 参考スコア（独自算出の注目度）: 12.700838638661047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models demonstrate impressive reasoning over visual, semantic, and spatial task variations by leveraging large-scale vision and language pre-training. They remain, however, largely blind to contact forces, which seldom manifest clearly in visual feedback but are central to contact-rich manipulation. Tactile sensing measures these forces directly, but integrating it into VLAs is difficult: tactile data is absent from the large-scale corpora used to pre-train VLAs, so adding it as a new input modality induces a distribution shift that erodes the very pre-training that makes VLAs effective. We propose Tactile Annotation Prompting for Vision-Language-Action models (TAP-VLA), a simple framework that supplies tactile feedback through visual augmentation rather than architectural change. TAP-VLA extracts shear fields from visuo-tactile sensors and overlays them as spatially-grounded vectors onto the multi-view RGB images the policy already consumes, yielding a clear, interpretable tactile cue in the VLA's native observation space. Because the architecture is untouched, the approach requires no tactile pre-training, adds negligible compute, and stays close to the pre-training distribution. Across four contact-rich tasks, TAP-VLA succeeds on 78% of trials, compared to under 50% for vision-only fine-tuning and alternative tactile-fusion baselines -- including tasks where the baselines perform no better than chance.
- Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、大規模ビジョンと言語事前学習を活用することで、視覚的、意味的、空間的タスクのバリエーションに対する印象的な推論を示す。
しかし、視覚的なフィードバックではっきりと現れることはめったにないが、接触に富む操作の中心である接触力にはほとんど目が見えない。
触覚センサーは、これらの力を直接測定するが、VLAに組み込むのは難しい: 触覚データは、VLAを事前訓練するために使用する大規模なコーパスから欠落しているため、新しい入力モダリティとして追加することで、VLAを効果的にするための非常に事前訓練を損なう分布シフトを誘導する。
本稿では,視覚・言語・アクションモデル(TAP-VLA)のための触覚アノテーションプロンプトを提案する。
TAP-VLAは、粘性触覚センサーからせん断場を抽出し、それらを空間的に接地されたベクトルとして、そのポリシーが既に消費しているマルチビューのRGBイメージにオーバーレイし、VLAのネイティブな観測空間で明瞭で解釈可能な触覚キューを生成する。
アーキテクチャは非タッチであるため、触覚による事前トレーニングは不要で、無視可能な計算を追加し、事前トレーニングの分布に近づき続ける。
4つのコンタクト豊富なタスクの中で、TAP-VLAは78%の試験で成功し、視覚のみの微調整と代替の触覚融合ベースラインでは50%以下である。
関連論文リスト
- τ: Learning Touch-Augmented Vision-Language-Action Models from Future Visual Supervision [43.426795127841075]
本稿では,視覚の視覚的監視から触覚表現を学習するタッチ拡張型視覚・言語・アクション(VLA)フレームワークを提案する。
また、4つの代表的なコンタクトリッチな操作タスクにまたがって、同期視覚、プロプレセプション、および視覚ベースの触覚信号のデータセットであるTacAuraを紹介する。
論文 参考訳（メタデータ） (2026-07-27T14:25:15Z) - TACO: TActile World Model as a Self-COrrector forScalable VLA Post-Training [79.94818813802682]
TACOは触覚を意識したワールドモデル駆動型フレームワークで,コンタクトリッチな操作において,スケーラブルなVLAポストトレーニングを実現する。
TACOは、触覚矯正をVLA後トレーニングに組み込むため、知識を取り入れた触覚適応と有利な条件のトレーニングを組み合わせる。
論文 参考訳（メタデータ） (2026-07-03T00:23:30Z) - Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。
このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。
本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
論文 参考訳（メタデータ） (2026-06-07T08:57:51Z) - QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。
VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。
提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
論文 参考訳（メタデータ） (2026-05-24T06:28:53Z) - HapticVLA: Contact-Rich Manipulation via Vision-Language-Action Model without Inference-Time Tactile Sensing [1.5861606459586157]
触覚を意識した操作はオフラインで学習でき、推論時に直接触覚フィードバックなしで展開できると我々は主張する。
本稿では,HapticVLAについて述べる。HapticVLAは,SA-RWFM (Safety-Aware Reward-Weighted Flow Matching) とTactile Distillation (TD) の2つの密結合段階で進行する。
論文 参考訳（メタデータ） (2026-03-16T13:24:58Z) - TacVLA: Contact-Aware Tactile Fusion for Robust Vision-Language-Action Manipulation [27.000763540977506]
VLA(Vision-Language-Action)モデルは、ロボット操作において大きな優位性を示している。
本稿では,触覚モーダルを変換器のポリシーに組み込んだ微調整VLAモデルTacVLAを提案する。
本稿では,接触検出時にのみ触覚トークンを選択的に活性化する接触認識ゲーティング機構を提案する。
論文 参考訳（メタデータ） (2026-03-13T05:20:41Z) - TaF-VLA: Tactile-Force Alignment in Vision-Language-Action Models for Force-aware Manipulation [14.094740703476903]
本稿では,物理相互作用力の高次元触覚観測を基盤としたTaF-VLAについて紹介する。
TaF-VLAポリシは、最先端の触覚と視覚のみのベースラインを、コンタクトリッチなタスクで大幅に上回る。
論文 参考訳（メタデータ） (2026-01-28T07:34:41Z) - Mantis: A Versatile Vision-Language-Action Model with Disentangled Visual Foresight [49.882469110319086]
本稿では,DVF(Disentangled Visual Foresight)を特徴とする新しいフレームワークであるMantisを紹介する。
Mantisは、メタクエリと拡散トランスフォーマー(DiT)ヘッドを組み合わせて、バックボーンから視覚的予測を分離する。
マンティスは微調整後のLIBEROベンチマークで96.7%の成功率を達成した。
論文 参考訳（メタデータ） (2025-11-20T09:30:23Z) - VLA-Touch: Enhancing Vision-Language-Action Models with Dual-Level Tactile Feedback [21.08021535027628]
VLA-Touchは、触覚センサを用いた汎用ロボットポリシーを強化するアプローチである。
提案手法では,(1)高レベルタスク計画のためのセマンティックな触覚フィードバックを提供する事前学習された触覚言語モデルを利用するパイプラインと,(2)コンタクトリッチな操作のための触覚信号を用いたVLA生成動作を洗練する拡散型コントローラの2つを導入している。
論文 参考訳（メタデータ） (2025-07-23T07:54:10Z) - ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation [62.58034332427291]
ForceVLAは、新しいエンドツーエンド操作フレームワークである。
外部力センシングは、VLAシステム内の第一級のモダリティとして扱う。
論文 参考訳（メタデータ） (2025-05-28T09:24:25Z) - CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。
視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。
実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
論文 参考訳（メタデータ） (2025-03-27T22:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。