論文の概要: Inference-time Policy Steering via Vision and Touch
- arxiv url: http://arxiv.org/abs/2606.14981v1
- Date: Fri, 12 Jun 2026 22:03:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:32.555304
- Title: Inference-time Policy Steering via Vision and Touch
- Title（参考訳）: 視覚と触覚による推論時ポリシーステアリング
- Authors: Yilin Wu, Zilin Si, Zeynep Temel, Oliver Kroemer, Andrea Bajcsy,
- Abstract要約: 推論時ステアリングは、実行前に候補動作を検証することにより、デプロイ中に事前訓練された生成ロボットポリシーを適用する。
両レベル最適化問題としてマルチモーダルガイダンスを定式化するビジュオ触覚推論時ステアリングフレームワークであるViTaLを紹介する。
ViTaLは基本方針を51%上回り、単調ステアリングを少なくとも33%上回り、単純マルチモーダル核融合を20%以上上回っている。
- 参考スコア（独自算出の注目度）: 19.707194684285223
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Inference-time steering adapts pre-trained generative robot policies during deployment by verifying candidate actions before execution. While prior methods typically perform this verification only with visual observations, vision alone is often insufficient for contact-rich manipulation, where success depends on both global task progress and subtle local interactions such as contact force. We introduce ViTaL, a visuo-tactile inference-time steering framework that formulates multimodal guidance as a bi-level optimization problem. At the high level, visual sampling-and-verification performs long-horizon mode selection, deciding what behavior the robot should execute. At the low level, tactile-guided diffusion editing refines the selected action sequence over a shorter horizon to satisfy local contact requirements. To support outcome-based steering, ViTaL learns a visuo-tactile latent world model and employs semantically aligned visual and tactile verifiers, including a novel text-conditioned tactile reward that scores predicted tactile futures directly in latent space. Across three real-world contact-rich manipulation tasks, ViTaL improves overall success by 51% over the base policy, outperforms unimodal steering by at least 33%, and exceeds naive multimodal fusion by at least 20%. Website: https://yilin-wu98.github.io/vital_website.
- Abstract（参考訳）: 推論時ステアリングは、実行前に候補動作を検証することにより、デプロイ中に事前訓練された生成ロボットポリシーを適用する。
従来の手法では、この検証は視覚的観察のみで行うのが一般的であったが、視覚だけでは、大域的なタスクの進行と接触力のような微妙な局所的な相互作用の両方に依存する、コンタクトリッチな操作には不十分であることが多い。
両レベル最適化問題としてマルチモーダルガイダンスを定式化するビジュオ触覚推論時ステアリングフレームワークであるViTaLを紹介する。
高いレベルでは、視覚的なサンプリングと検証がロングホライズンモードの選択を行い、ロボットが実行すべき振る舞いを決定する。
低レベルにおいて、触覚誘導拡散編集は、選択された動作シーケンスを短い水平線上で洗練し、局所的な接触要求を満たす。
結果に基づくステアリングを支援するために、ViTaLは、視覚的・触覚的検証モデルを学び、潜在空間で直接触覚的未来を予測する新しいテキスト条件の触覚的報酬を含む意味論的に整合した視覚的・触覚的検証装置を使用する。
3つの実世界のコンタクトリッチな操作タスクの中で、ViTaLは基本方針よりも51%の総合的な成功を達成し、ユニモーダルステアリングを少なくとも33%上回り、単純マルチモーダル融合を少なくとも20%上回る。
ウェブサイト:https://yilin-wu98.github.io/vital_website
関連論文リスト
- OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation [57.133721026727706]
textbfOmniViTacは,16ドルのタスクと100ドル以上のオブジェクトからなる21,000ドル以上のトラジェクトリからなる大規模ビズオタクティルアクションデータセットである。
我々は4つの密結合モジュールを統合する世界モデルベースのビジュオ触覚操作フレームワークである textbf OmniVTA を提案する。
論文 参考訳（メタデータ） (2026-03-19T17:52:42Z) - ViTaS: Visual Tactile Soft Fusion Contrastive Learning for Visuomotor Learning [33.49725304395789]
視覚情報と触覚情報の両方を組み込んでエージェントの動作をガイドするフレームワークであるViTaSを提案する。
本手法の有効性をシミュレーションした12の環境と3つの実環境において示す。
論文 参考訳（メタデータ） (2026-02-12T06:56:29Z) - TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance [53.35296919674763]
TouchGuideは、低次元のアクション空間内でモダリティを融合させる、クロス政治的なビズオ触覚融合パラダイムである。
TouchGuideは、事前訓練された拡散またはフローマッチングビズモータポリシーをガイドする2つの段階で動作する。
高品質で費用対効果の高いデータによるTouchGuideトレーニングを容易にするために,データ収集システムであるTacUMIを導入する。
論文 参考訳（メタデータ） (2026-01-28T04:22:47Z) - ImplicitRDP: An End-to-End Visual-Force Diffusion Policy with Structural Slow-Fast Learning [52.86018040861575]
本稿では,単一のネットワークに視覚計画と反応力制御を統合した,一貫したエンドツーエンドの視覚力拡散政策を提案する。
本稿では,非同期な視覚と力のトークンを同時に処理するための因果的注意力を利用した構造的スローフォールストラーニングを紹介する。
コンタクトリッチタスクの実験では、ImplicitRDPは視覚のみのベースラインと階層的なベースラインの両方で著しく優れていた。
論文 参考訳（メタデータ） (2025-12-11T18:59:46Z) - VLA-Touch: Enhancing Vision-Language-Action Models with Dual-Level Tactile Feedback [21.08021535027628]
VLA-Touchは、触覚センサを用いた汎用ロボットポリシーを強化するアプローチである。
提案手法では,(1)高レベルタスク計画のためのセマンティックな触覚フィードバックを提供する事前学習された触覚言語モデルを利用するパイプラインと,(2)コンタクトリッチな操作のための触覚信号を用いたVLA生成動作を洗練する拡散型コントローラの2つを導入している。
論文 参考訳（メタデータ） (2025-07-23T07:54:10Z) - Touch begins where vision ends: Generalizable policies for contact-rich manipulation [18.195865256382334]
本稿では,微粒な操作タスクを解決するフレームワークであるVisuoTactile Local (ViTaL)ポリシー学習を紹介する。
ViTaLは、目に見えない環境でのコンタクトリッチなタスクで約90%の成功を達成している。
論文 参考訳（メタデータ） (2025-06-16T17:59:48Z) - ViTaPEs: Visuotactile Position Encodings for Cross-Modal Alignment in Multimodal Transformers [7.505873965164197]
ViTaPEsは,視覚的知覚のためのタスク非依存表現を学習するためのフレームワークである。
提案手法は,モーダル内構造を捉えるために,新しいマルチスケール位置符号化方式を利用する。
その結果,ViTaPEは様々な認識タスクにおいて最先端のベースラインを超越していることがわかった。
論文 参考訳（メタデータ） (2025-05-26T14:19:29Z) - ViT-Lens: Initiating Omni-Modal Exploration through 3D Insights [61.36309876889977]
ViT-Lensは、事前訓練されたViTで新しいモダリティを知覚し、予め定義された空間に整列することで、効率的なOmni-Modal表現学習を可能にする。
ゼロショット3D分類では、ViT-Lensは従来の最先端技術よりも大幅に改善されている。
近い将来、さらなるモダリティに関するViT-Lensの結果を公表します。
論文 参考訳（メタデータ） (2023-08-20T07:26:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。