Fugu-MT 論文翻訳(概要): SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation

論文の概要: SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation

arxiv url: http://arxiv.org/abs/2608.18701v1
Date: Wed, 19 Aug 2026 08:58:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-20 20:13:55.34935
Title: SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation
Title（参考訳）: SoftVTBench: 変形を意識したVisuo-Tactileデータセットと変形可能なオブジェクト操作のためのベンチマーク
Abstract要約: 物理的相互作用を意識した変形オブジェクト操作のためのビジュオ触覚データセットであるSoftVTBenchを紹介する。 4000以上の専門家によるデモンストレーションと50以上の資産が含まれており、その中には体積変形可能な物体や視覚的に整合した双生児が含まれる。 20Hzでは、各エピソードはマルチビューRGB、デュアルフィンガー触覚RGB、マーカー運動、プロプレセプション、言語、バイナリおよび連続グリップパーアクションを同期させる。
参考スコア（独自算出の注目度）: 56.16187327142104
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Physical interaction quality is central to deformable-object manipulation, yet most benchmarks evaluate task success alone. A policy may complete the task while allowing slip or causing excessive compression. A primary bottleneck is the absence of visuo-tactile datasets that pair policy-visible contact observations with independent physical ground truth over complete tasks. We introduce SoftVTBench, a visuo-tactile dataset for physical-interaction-aware deformable-object manipulation. It contains 4,000 expert demonstrations and more than 50 assets, including volumetric deformable objects and visually matched rigid twins. At 20 Hz, each episode synchronizes multi-view RGB, dual-finger tactile RGB and marker motion, proprioception, language, and binary and continuous gripper actions, alongside evaluator-only finite-element (FEM) states. Building upon this dataset, we establish a closed-loop benchmark that uses fixed object-specific calibration to define the Deformation-aware Success Rate (DSR), which counts a rollout as successful only when it completes the task and keeps peak normalized deformation within tolerance. Across Diffusion Policy, $π_{0.5}$, and FastWAM, all 12 in-distribution configurations contain successful rollouts that violate the deformation tolerance, accounting for 0.7--24% of each configuration's successes. Under distribution shift, visuo-tactile variants achieve higher task success in all six policy--suite comparisons and higher DSR in five, whereas their in-distribution benefits are mixed. These results show that making touch available does not by itself ensure effective multimodal fusion. SoftVTBench therefore provides a common visuo-tactile resource for studying not only whether a policy succeeds, but how it physically interacts with deformable objects and when touch improves that interaction.
Abstract（参考訳）: 物理的相互作用の品質は変形可能なオブジェクト操作の中心であるが、ほとんどのベンチマークはタスクの成功のみを評価する。ポリシーは、スリップや過剰な圧縮を許容しながらタスクを完了することができる。主要なボトルネックは、政策可視な接触観測と、完全なタスク上の独立した物理的根拠の真理を組み合わせた、ビジュオ触覚データセットがないことである。物理的相互作用を意識した変形オブジェクト操作のためのビジュオ触覚データセットであるSoftVTBenchを紹介する。 4000以上の専門家によるデモンストレーションと50以上の資産が含まれており、その中には体積変形可能な物体や視覚的に整合した双生児が含まれる。 20Hzでは、各エピソードはマルチビューRGB、デュアルフィンガー触覚RGB、マーカー運動、プロプレセプション、言語、バイナリおよび連続グリップパー動作と、評価器のみの有限要素(FEM)状態とを同期させる。このデータセットに基づいて、固定オブジェクト固有のキャリブレーションを用いて、変形認識成功率(DSR)を定義するクローズドループベンチマークを構築し、タスク完了時にのみロールアウトを成功とみなし、許容範囲内で最大正規化変形を保持する。拡散ポリシー、$π_{0.5}$、およびFastWAMの12の分散構成は、変形耐性に反するロールアウトが成功しており、各構成の成功の0.7～24%を占めている。分布シフトの下では、ビスオ・タクティル変種は6つの政策比較においてより高いタスク成功を達成する。これらの結果から,タッチを利用可能にすること自体が効果的なマルチモーダル融合を保証するものではないことが示唆された。したがって、SoftVTBenchは、ポリシーが成功するかどうかだけでなく、物理的に変形可能なオブジェクトとどのように相互作用し、いつタッチがその相互作用を改善するかを研究するための共通のビズオ触覚リソースを提供する。

論文の概要: SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation

関連論文リスト