論文の概要: ViTacPhys: Physical Property-Aware Grasping from Human Visual-Tactile Demonstrations

• arxiv url: http://arxiv.org/abs/2608.21355v1
• Date: Fri, 21 Aug 2026 17:58:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.671259
• Title: ViTacPhys: Physical Property-Aware Grasping from Human Visual-Tactile Demonstrations
• Title（参考訳）: ViTacPhys:人間の視覚触覚による身体的特性認識
• Abstract要約: 視覚触覚フレームワークとデータ取得システムであるViTacPhysを紹介する。 人間の操作による実験から、物体の質量と摩擦係数のクラスを連続的な硬さとともに推定する。 97.2%の質量分類精度、98.8%の摩擦係数分類精度、および硬度平均絶対パーセンテージ誤差(MAPE)は5.51%である。
• 参考スコア（独自算出の注目度）: 36.759135625551586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent vision-based action models have demonstrated strong capabilities in complex manipulation, but they rarely leverage explicit object physical properties to adapt their policies. We introduce ViTacPhys, a visual-tactile framework and data acquisition system that estimates object mass and friction-coefficient classes, together with continuous stiffness, from human manipulation demonstrations. Trained on data from 60 rigid and deformable objects, ViTacPhys combines temporal visual-tactile modeling, cross-attention multimodal fusion, and a semantic prior derived from a vision-language model. On seen objects, it achieves 97.2% mass classification accuracy, 98.8% friction-coefficient classification accuracy, and a stiffness mean absolute percentage error (MAPE) of 5.51%. On held-out objects from known categories, it achieves 87.5% mass accuracy, 97.5% friction-coefficient accuracy, and a stiffness MAPE of 9.08%. We transfer ViTacPhys from the human domain to the robot domain using limited robot teleoperation data, robot-style video augmentation, and human demonstrations with matched actions, and deploy it as an online module for adaptive grasping. The resulting physical-property-conditioned policy achieves total grasping success rates of 95.0% on in-distribution objects and 83.4% on out-of-distribution objects. For out-of-distribution objects successfully grasped by both methods, its force profiles are more consistent with human teleoperation than those produced by ACT. These results demonstrate the feasibility of explicitly estimating and conditioning on object physical properties for real-world adaptive grasping.
• Abstract（参考訳）: 最近の視覚に基づく行動モデルは、複雑な操作において強力な能力を示しているが、それらのポリシーに適応するために明示的な物体の物理的特性を利用することは滅多にない。 視覚触覚フレームワークとデータ取得システムであるViTacPhysを紹介する。 60個の剛体および変形可能なオブジェクトからのデータに基づいてトレーニングされたViTacPhysは、時間的視覚触覚モデリング、横断的マルチモーダル融合、視覚言語モデルから派生したセマンティクスを組み合わせた。 観測対象物では、97.2%の質量分類精度、98.8%の摩擦係数分類精度、および硬度平均絶対パーセンテージ誤差(MAPE)は5.51%である。 既知のカテゴリの保持対象物では、87.5%の質量精度、97.5%の摩擦係数、9.08%の剛性MAPEを達成する。 ViTacPhysを人間ドメインからロボットドメインに転送するには、限られたロボット遠隔操作データ、ロボットスタイルのビデオ拡張、マッチングされた動作による人間の実演を行い、適応的把握のためのオンラインモジュールとしてデプロイする。 結果として生じる物理的条件付き政策は、分配対象物で95.0%、分配対象物で83.4%の把握成功率を達成する。 双方の方法でうまく把握された分布外物体に対して、その力プロファイルはACTによって生成されたものよりも人間の遠隔操作と一致している。 これらの結果は、現実の適応的把握のための物体の物理的特性を明示的に推定し、条件付けすることの実現可能性を示している。

関連論文リスト

• GAUGE: A Measurement-Grounded Benchmark for Physical Fidelity in Simulation Engines and Video World Models [66.77745044586173]
  GAUGEは、数値シミュレータと生成ビデオワールドモデルがどのように現実の物理学から再現または逸脱するかを評価するための実世界の診断ベンチマークである。 一般化された軌道誤差を用いて14のタスクファミリー上でIsaac Sim,Genesis,Newtonをベンチマークし,5つの剛体タスクに対して6つのイメージ・ツー・ビデオモデルを評価する。 この結果から, 衝撃的接触, 高速繊維運動, 体積変形に起因する最大の相違点を有する一様忠実な物理エンジンは見つからなかった。
  論文  参考訳（メタデータ） (2026-08-06T12:19:38Z)
• PhysWorld: From Real Videos to World Models of Deformable Objects via Physics-Aware Demonstration Synthesis [52.905353023326306]
  物理的に妥当で多様な実演を合成し、効率的な世界モデルを学ぶためのフレームワークであるPhysWorldを提案する。 実験により、PhysWorldは、最新の最先端手法、すなわちPhysTwinよりも47倍高速な推論速度を実現しつつ、競争性能を持つことが示された。
  論文  参考訳（メタデータ） (2025-10-24T13:25:39Z)
• DexCanvas: Bridging Human Demonstrations and Robot Learning for Dexterous Manipulation [25.208854363099352]
  このデータセットには、実際の人間の実演から70時間シードされた7000時間に及ぶ手-物体の相互作用が含まれている。 各エントリは、同期されたマルチビューRGB-D、MANOハンドパラメータによる高精度モキャップ、物理的に一貫した力プロファイルによるフレーム単位の接触点を組み合わせる。 私たちのリアル・トゥ・シムパイプラインは、物理シミュレーションにおいてアクティベートされたMANOハンドを制御するポリシーをトレーニングするために強化学習を使用します。
  論文  参考訳（メタデータ） (2025-10-17T16:08:14Z)
• PhysiInter: Integrating Physical Mapping for High-Fidelity Human Interaction Generation [35.563978243352764]
  人間のインタラクション生成パイプライン全体に統合された物理マッピングを導入する。 具体的には、物理に基づくシミュレーション環境での運動模倣は、ターゲットの動きを物理的に有効な空間に投影するために使用される。 実験の結果,人間の運動の質は3%～89%向上した。
  論文  参考訳（メタデータ） (2025-06-09T06:04:49Z)
• Web2Grasp: Learning Functional Grasps from Web Images of Hand-Object Interactions [37.334138196925025]
  器用な多指ロボットの手を使って物体を効果的に操るためには,機能的把握が不可欠である。 自然と機能的なオブジェクトの相互作用を描写するため,Web画像から人間の把握情報を抽出する手法を提案する。 安価なWebソースから得られた比較的低品質なHOIデータは、機能的把握モデルを効果的に訓練できることを示す。
  論文  参考訳（メタデータ） (2025-05-07T16:13:17Z)
• ReinDiffuse: Crafting Physically Plausible Motions with Reinforced Diffusion Model [9.525806425270428]
  本稿では、強化学習と運動拡散モデルを組み合わせることで、物理的に信頼できる人間の動きを生成するEmphReinDiffuseを提案する。 動作拡散モデルを用いてパラメータ化された動作分布を出力し、強化学習パラダイムに適合させる。 我々のアプローチは、HumanML3DとKIT-MLという2つの主要なデータセット上で、既存の最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-09T16:24:11Z)
• ContPhy: Continuum Physical Concept Learning and Reasoning from Videos [86.63174804149216]
  ContPhyは、マシン物理常識を評価するための新しいベンチマークである。 私たちは、さまざまなAIモデルを評価し、ContPhyで満足なパフォーマンスを達成するのに依然として苦労していることがわかった。 また、近年の大規模言語モデルとパーティクルベースの物理力学モデルを組み合わせるためのオラクルモデル(ContPRO)を導入する。
  論文  参考訳（メタデータ） (2024-02-09T01:09:21Z)
• Physion++: Evaluating Physical Scene Understanding that Requires Online Inference of Different Physical Properties [100.19685489335828]
  この研究は、人工システムにおける視覚的身体的予測を厳格に評価する新しいデータセットとベンチマークであるPhysylon++を提案する。 正確な予測が質量、摩擦、弾性、変形性などの特性の推定に依存するシナリオをテストする。 我々は,様々なレベルの学習と組込み知識にまたがる最先端予測モデルの性能を評価し,その性能を人間の予測と比較した。
  論文  参考訳（メタデータ） (2023-06-27T17:59:33Z)
• Visual Grounding of Learned Physical Models [66.04898704928517]
  人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。 我々は、物理を同時に推論し、視覚と力学の先行に基づく将来の予測を行うニューラルモデルを提案する。 実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
  論文  参考訳（メタデータ） (2020-04-28T17:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。