論文の概要: MIM-VLA: Learning Physical Interaction Representations from Gripper Motor Feedback

• arxiv url: http://arxiv.org/abs/2610.08425v1
• Date: Tue, 06 Oct 2026 14:28:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.041003
• Title: MIM-VLA: Learning Physical Interaction Representations from Gripper Motor Feedback
• Title（参考訳）: MIM-VLA:グリッパーモータフィードバックによる物理インタラクション表現の学習
• Abstract要約: 視覚言語アクション(VLA)ポリシーは、主に視覚的な観察とロボットの状態から把握されたアクションを推測する。 直近のグリップ電流, 位置, 速度, 信号の妥当性を128次元の相互作用トークンとして符号化した, モータフィードバックに基づくMIM-VLAを提案する。
• 参考スコア（独自算出の注目度）: 1.7831162665943825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language-action (VLA) policies infer grasp actions primarily from visual observations and robot state, but do not explicitly represent the physical response observed after contact. We present MIM-VLA, a motor-feedback-based architecture that encodes recent gripper current, position, velocity, and signal validity as a 128-dimensional interaction token. A motor-only Motor Interaction Module (MIM) is pretrained with human-reviewed contact and interaction-phase labels and then conditions only the gripper-action pathway of SmolVLA; arm actions and the position-control interface remain unchanged. The same token supports the MEM selector VLM that compares candidate interactions and produces evidence-conditioned selections and explanations. We evaluate MIM-VLA in three real-world settings: comparing the interaction resistance of visually different objects, disambiguating visually similar real and replica objects through active probing, and gently grasping fragile objects, including held-out instances. Across 13 object pairs, MIM-VLA selects the higher-resistance object in 75.0% of trials, compared with 48.8% for the SmolVLA baseline. For the evaluated tasks, the approach uses motor feedback already available from the gripper and does not require an additional tactile array, force-torque sensor, calibrated force estimate, or direct current control.
• Abstract（参考訳）: 視覚言語アクション(VLA)ポリシーは、主に視覚的な観察とロボットの状態から把握された動作を推測するが、接触後に観察された物理的反応を明示的に表すものではない。 直近のグリップ電流, 位置, 速度, 信号の妥当性を128次元の相互作用トークンとして符号化した, モータフィードバックに基づくMIM-VLAを提案する。 モーターのみのモーター・インタラクション・モジュール(MIM)は、人間レビューされた接触と相互作用フェーズのラベルで事前訓練され、その後、SmolVLAのグリップ・アクション・パスのみの状態となる。 同じトークンはMEMセレクタVLMをサポートし、候補間の相互作用を比較し、エビデンス条件の選択と説明を生成する。 我々はMIM-VLAを3つの実世界の環境で評価し、視覚的に異なるオブジェクトの相互作用抵抗を比較し、アクティブなプロブリングを通して視覚的に類似した実物とレプリカオブジェクトを曖昧にし、ホールドアウトインスタンスを含む脆弱なオブジェクトを優しく把握する。 13個のオブジェクトペアのうち、MIM-VLAは75.0%の試験で高抵抗オブジェクトを選択し、SmolVLAベースラインは48.8%である。 評価作業には、グリップから既に利用可能なモータフィードバックを使用し、追加の触覚アレイ、力トルクセンサー、校正力推定、直流制御を必要としない。

関連論文リスト

• ReactSim-Bench: Benchmarking Reactive Behavior World Model Simulation in Autonomous Driving [56.96697737229895]
  リアクティブ能力は、自律運転シミュレーションシステムのためのデータ駆動行動世界モデルシミュレータの重要な特性である。 本稿では,自律運転における行動世界モデルシミュレーションの反応性を評価するためのReactSim-Benchを紹介する。
  論文  参考訳（メタデータ） (2026-06-12T03:11:06Z)
• Towards Unconstrained Human-Object Interaction [55.123145316966635]
  ヒューマン・オブジェクト・インタラクション(Human-Object Interaction,HOI)検出は、長年続くコンピュータビジョンの問題である。 MLLM(Multimodal Large Language Models)の出現により、対話認識のためのより柔軟なパラダイムを探求することが可能になった。 本研究では,MLLM のレンズによるHOI検出を再検討し,HOI検出に応用する。
  論文  参考訳（メタデータ） (2026-04-15T16:39:28Z)
• Vision-Motion-Reference Alignment for Referring Multi-Object Tracking via Multi-Modal Large Language Models [29.330083952817997]
  我々はVMRMOTという新しいビジョン・モーション・リファレンス・アライメントのRMOTフレームワークを提案する。 物体力学から抽出された運動モーダリティを統合し、視覚モーダリティと言語参照のアライメントを強化する。 我々の知る限りでは、VMRMOT は RMOT タスクに MLLM を採用する最初のアプローチである。
  論文  参考訳（メタデータ） (2025-11-21T08:53:31Z)
• PhysVLM-AVR: Active Visual Reasoning for Multimodal Large Language Models in Physical Environments [36.84821207878773]
  マルチモーダル大言語モデル(MLLM)における視覚的推論は、主に静的で完全に観測可能な設定で研究されている。 AVR(Active Visual Reasoning)タスクを導入し、視覚的推論を部分的に観察可能で対話的な環境に拡張する。 推論と情報収集の効率性の両方を評価するために,複数ラウンドの対話型環境を特徴とするベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-10-24T02:59:00Z)
• Bench2ADVLM: A Closed-Loop Benchmark for Vision-language Models in Autonomous Driving [28.224158941451087]
  VLM(Vision-Language Models)は、自律運転(AD)において有望なパラダイムとして登場した。 VLMベースのADシステム(ADVLM)の現在の性能評価プロトコルは、静的入力を伴うオープンループ設定に限られている。 シミュレーションと物理プラットフォーム間のリアルタイム・インタラクティブなADVLM評価のための階層型クローズドループ評価フレームワークであるBench2ADVLMを紹介した。
  論文  参考訳（メタデータ） (2025-08-04T03:43:23Z)
• MetAdv: A Unified and Interactive Adversarial Testing Platform for Autonomous Driving [85.04826012938642]
  MetAdvは、現実的でダイナミックでインタラクティブな評価を可能にする、新しい対向テストプラットフォームである。 フレキシブルな3D車両モデリングと、シミュレートされた環境と物理的環境のシームレスな遷移をサポートする。 生理的信号のリアルタイムキャプチャとドライバからの行動フィードバックを可能にする。
  論文  参考訳（メタデータ） (2025-08-04T03:07:54Z)
• Tracking the Unstable: Appearance-Guided Motion Modeling for Robust Multi-Object Tracking in UAV-Captured Videos [58.156141601478794]
  マルチオブジェクトトラッキング(UAVT)は、ビデオのフレーム間で一貫したアイデンティティを維持しながら、複数のオブジェクトを追跡することを目的としている。 既存の手法は、通常、動作キューと外観を別々にモデル化し、それらの相互作用を見渡して、最適下追跡性能をもたらす。 本稿では、AMC行列とMTCモジュールの2つの主要コンポーネントを通して、外観と動きの手がかりを利用するAMOTを提案する。
  論文  参考訳（メタデータ） (2025-08-03T12:06:47Z)
• Learning Intuitive Physics with Multimodal Generative Models [24.342994226226786]
  本稿では,視覚と触覚のフィードバックを融合させ,動的シーンにおける物体の動きを予測する枠組みを提案する。 我々は、接触面の高解像度マルチモーダルセンシングを提供する新しいSee-Through-your-Skin(STS)センサを使用します。 物体の静止状態を所定の初期条件から予測するシミュレーションおよび実世界の実験を通じて検証する。
  論文  参考訳（メタデータ） (2021-01-12T12:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。