論文の概要: Uni-VLaT: Whole-Body Tactile Adaptation of VLA Policies for Humanoid Loco-Manipulation
- arxiv url: http://arxiv.org/abs/2609.35450v2
- Date: Wed, 30 Sep 2026 15:04:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.063784
- Title: Uni-VLaT: Whole-Body Tactile Adaptation of VLA Policies for Humanoid Loco-Manipulation
- Title（参考訳）: Uni-VLaT:Humanoid Loco-ManipulationのためのVLAポリシの全身的触覚適応
- Abstract要約: コンタクトリッチ制御のための視覚・言語・アクション・ポリシーに全身触覚情報を統合する方法について検討する。
われわれのアプローチであるUni-VLaTでは、潜伏状態が将来の触覚、受容性、視覚的表現を予測するために訓練された触覚経路を導入している。
触覚・触覚・身体的相互作用・人間-ロボット接触・ロボ操作を含む5つの実ロボットタスクについて,Uni-VLaTの評価を行った。
- 参考スコア（独自算出の注目度）: 30.182406591874173
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physical contact often determines how a humanoid should respond during loco-manipulation, yet vision and proprioception alone are often insufficient to characterize physical interaction, especially when the contact region is occluded. Unlike sparse force or torque measurements at predefined regions, distributed tactile sensing preserves spatially resolved contact patterns across the robot body. We therefore study how to integrate such whole-body tactile information into vision-language-action (VLA) policies for contact-rich control. Our approach, Uni-VLaT, introduces a tactile pathway whose latent state is trained not only for action generation, but also to predict future tactile, proprioceptive, and visual representations. This predictive objective builds a tactile-anchored multimodal context, encouraging a more structured understanding of the physical world. We evaluate Uni-VLaT on five real-robot tasks covering tactile-triggered locomotion, sustained physical interaction, human-robot contact, and loco-manipulation. Uni-VLaT achieves a 75% average success rate, outperforming a baseline without tactile input by 43 points and a tactile-input baseline without predictive supervision by 7 points. Across two pretrained VLA backbones, our method improves Table Sweeping by 30 points on both backbones and Back-Tap Walking by 85-90 points. Ablations further show that contextualized tactile prediction and absolute future targets are critical to performance. These results indicate that predictive tactile learning provides an effective route for extending pretrained VLA policies to whole-body physical interaction.
- Abstract（参考訳）: 物理的接触はしばしば、ロコ操作中にヒューマノイドがどう反応するかを決定するが、視覚とプロプレセプションだけでは物理的相互作用、特に接触領域が閉鎖されたときに物理的相互作用を特徴づけるには不十分である。
予め定義された領域でのスパース力やトルク測定とは異なり、分散触覚センシングは、ロボット本体全体で空間的に解決された接触パターンを保存する。
そこで我々は,このような全身触覚情報をコンタクトリッチ制御のための視覚言語反応(VLA)ポリシーに統合する方法を研究している。
我々のアプローチであるUni-VLaTは、潜伏状態がアクション生成だけでなく、将来の触覚、プロプレセプティブ、視覚表現を予測するために訓練された触覚経路を導入している。
この予測的目的は、触覚に適応したマルチモーダルコンテキストを構築し、物理的な世界に対するより構造化された理解を促進する。
触覚・触覚・身体的相互作用・人間-ロボット接触・ロボ操作を含む5つの実ロボットタスクについて,Uni-VLaTの評価を行った。
Uni-VLaTは平均75%の成功率を達成し、触覚入力のないベースラインを43ポイント、触覚入力ベースラインを7ポイント上回る。
トレーニング済みのVLAバックボーンでは,両バックボーンで30ポイント,バックタップウォーキングでは85～90ポイント,テーブルスイーピングでは30ポイント向上した。
アブレーションは、文脈化された触覚予測と絶対的な将来の目標がパフォーマンスにとって重要であることを示している。
これらの結果から, 予測触覚学習は, 事前学習されたVLAポリシーを全身の身体的相互作用に拡張するための効果的な経路を提供することが示された。
関連論文リスト
- DexTacWAM: A Visuo-Tactile World-Action Model for Dexterous Manipulation [62.08802141030416]
本稿では,指先を個別に符号化するビジュオ触覚WAMであるDexTacWAMを紹介する。
触覚潜伏剤をビデオ拡散世界モデルに注入し, 共同ビジュオ触覚世界モデリングを行う。
論文 参考訳（メタデータ） (2026-09-21T17:55:24Z) - TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation [14.063238637690597]
日常環境における有害な操作には、予測と反応の両方が必要である。
我々は,デクスタラス操作のための予測・反応型触覚基礎モデルであるTouchWorldを紹介する。
論文 参考訳（メタデータ） (2026-07-08T11:28:13Z) - Human-Centric Transferable Tactile Pre-Training for Dexterous Robotic Manipulation [33.12343137426091]
本稿では,人間データに基づく精密なロボット作業のための触覚学習システムであるTransferable Tactile Pre-Training(TTP)を提案する。
TTPは、人間からロボットへの移動を通じて、スケーラブルな触覚事前訓練の道を開く。
論文 参考訳（メタデータ） (2026-07-01T15:26:26Z) - UniTacVLA: Unified Tactile Understanding and Prediction in Vision Language Action Models [32.87879913150572]
コンタクトリッチな操作のための統合された触覚学習フレームワークを提案する。
提案手法は,既存手法よりも成功率,操作精度,接触堅牢性を向上することを示す。
論文 参考訳（メタデータ） (2026-06-30T14:24:00Z) - SECOND-Grasp: Semantic Contact-guided Dexterous Grasping [60.1519218638742]
Second-Grasp (Semantic Contact-guided Dexterous Grasping) は、ロボットハンドが意味論的推論に基づいて把握戦略を調整できる統合されたフレームワークである。
我々のアプローチは、目に見えるカテゴリーと目に見えないカテゴリの両方で成功率を上げるために、一貫してベースラインを上回ります。
論文 参考訳（メタデータ） (2026-05-13T07:37:00Z) - Modular Sensory Stream for Integrating Physical Feedback in Vision-Language-Action Models [48.57114740339529]
MoSSはモジュラー・センサ・ストリーム・フレームワークであり、ビジョン・ランゲージ・アクション・モデルを適用し、複数のセンサー信号を利用して行動予測を行う。
新たなモダリティを安定的に組み込むために,事前学習したVLAパラメータを早期に凍結する2段階のトレーニング手法を採用する。
接触相互作用のダイナミクスをよりよく捉えるために,将来的な物理的信号を予測する補助的なタスクを組み込む。
論文 参考訳（メタデータ） (2026-04-25T12:28:47Z) - OmniUMI: Towards Physically Grounded Robot Learning via Human-Aligned Multimodal Interaction [41.5123936517904]
UMIスタイルのインタフェースはスケーラブルなロボット学習を可能にするが、既存のシステムはほとんどビジュモータのままである。
OmniUMIは,人間と協調したマルチモーダルインタラクションによる物理的基盤を持つロボット学習のための統合フレームワークである。
論文 参考訳（メタデータ） (2026-04-12T13:48:48Z) - ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation [55.467742403416175]
本稿では,大規模モーションキャプチャをヒューマノイドに変換する物理駆動型ニューラルネットワークを提案する。
我々は高密度参照とスパースタスク仕様の両方をサポートする統合マルチモーダルコントローラを学習する。
その結果,ULTRAは自我中心の知覚から,自律的,目標条件付き全体ロコ操作に一般化することが示された。
論文 参考訳（メタデータ） (2026-03-03T18:59:29Z) - InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions [58.329946838699044]
人間は、明示的な全身運動のレベルで、物体と全身の相互作用を計画することは滅多にない。
このような事前のスケーリングは、ヒューマノイドがロコ操作スキルの構築と一般化を可能にする鍵となる。
我々は,強化学習による大規模模倣事前学習とポストトレーニングを通じて,統合生成コントローラを学習するフレームワークであるInterPriorを紹介する。
論文 参考訳（メタデータ） (2026-02-05T18:59:27Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。