論文の概要: SWIM: Vision-Language-Grounded Soft Whole-Body Interactive Manipulation
- arxiv url: http://arxiv.org/abs/2609.17035v1
- Date: Tue, 15 Sep 2026 11:41:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.478871
- Title: SWIM: Vision-Language-Grounded Soft Whole-Body Interactive Manipulation
- Title（参考訳）: SWIM:ビジョンランゲージ付きソフトボディインタラクティブマニピュレーション
- Abstract要約: 本稿では、最初のRGB観測と言語命令を完全なアクティベーションコマンドシーケンスにマッピングするフレームワークSWIMを提案する。
ビジョン・ランゲージ・アクション(VLA)ポリシーであるSWIM-VLAは、RGB観測、言語指示、腱状態の共有表現を通じて、拡散アクションヘッドと視覚ソフト・プロプライオセプション(VSP)を組み合わせる。
本研究は,平面型腱駆動型ソフトロボットにおけるSWIMのパッケージング,リーチ,グリーピングについて検討し,グリーティングターゲットを固定した。
- 参考スコア（独自算出の注目度）: 16.77451640494332
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Soft and continuum robots enable manipulation through distributed body deformation and contact, yet translating language and visual context into executable whole-body actuation remains a fundamental challenge. We present SWIM, a framework that maps an initial RGB observation and a language instruction to a complete actuation-command sequence. Its vision-language-action (VLA) policy, SWIM-VLA, combines a diffusion action head with Visual Soft Proprioception (VSP) through a shared representation of RGB observations, language instructions, and tendon states. The diffusion head models conditional distributions of expert command chunks, while VSP supervises ordered body-anchor predictions using simulation ground truth, encouraging the representation to retain body geometry when learning from limited demonstrations. Embodied mechanical intelligence supports physical execution of command sequences generated through iterative virtual rollout from evolving simulated observations, with intrinsic compliance providing local contact adaptation without online policy queries. We evaluate SWIM on packing, reaching, and grasping on a planar tendon-driven soft robot, with grasping targets anchored. In simulation, SWIM-VLA achieves success rates of 100\%, 96\%, and 88\%, respectively, outperforming an adapted OpenVLA-OFT baseline and controlled ablations. On hardware, SWIM achieves success rates of 100\%, 80\%, and 75\%, compared with 75\%, 40\%, and 25\% for direct online deployment of the same policy checkpoint.
- Abstract（参考訳）: ソフトで連続的なロボットは、分散体変形と接触による操作を可能にするが、言語と視覚的コンテキストを実行可能な全身動作に変換することは根本的な課題である。
本稿では、最初のRGB観測と言語命令を完全なアクティベーションコマンドシーケンスにマッピングするフレームワークSWIMを提案する。
ビジョン・ランゲージ・アクション(VLA)ポリシーであるSWIM-VLAは、RGB観測、言語指示、腱状態の共有表現を通じて、拡散アクションヘッドと視覚ソフト・プロプライオセプション(VSP)を組み合わせる。
拡散ヘッドは、専門家のコマンドチャンクの条件分布をモデル化する一方、VSPは、シミュレーション基底真理を用いて、注文されたボディアンカー予測を監督し、限られたデモンストレーションから学ぶ際に、ボディジオメトリを保持するように促す。
エンボディード・メカニカル・インテリジェンス(Embodied Mechanical Intelligence)は、シミュレートされた観察の進化から繰り返し仮想ロールアウトによって生成されたコマンドシーケンスの物理的実行をサポートする。
本研究は,平面型腱駆動型ソフトロボットにおけるSWIMのパッケージング,リーチ,グリーピングについて検討し,グリーティングターゲットを固定した。
シミュレーションにおいて、SWIM-VLAは、それぞれ100\%、96\%、88\%の成功率を達成し、適応されたOpenVLA-OFTベースラインと制御されたアブレーションを上回った。
ハードウェア上では、SWIMは、同じポリシーチェックポイントのオンライン展開において、75\%、40\%、25\%に対して、100\%、80\%、75\%の成功率を達成する。
関連論文リスト
- CometVLA: Co-Training on an Embodied Data Pyramid towards Physical Understanding [56.55196056616493]
視覚言語アクション(VLA)モデルは、物理コモンセンスを必要とする操作タスクにおいて脆弱なままである。
VLMの物理的理解の改善が下流のアクション生成に実際に寄与するかどうかは不明だ。
我々は,ロボットの動作データと実施状況に厳密に整合した物理VQAコーパスとベンチマークであるCometVLAを提示する。
論文 参考訳（メタデータ） (2026-08-31T05:55:34Z) - Vision Guided Target Conditioned Control for Autonomous Excavation [20.120726123812727]
本稿では, 物理に基づく変形性土壌シミュレーションワークフローにおいて, 自律掘削のための目標条件付き知的制御フレームワークを提案する。
画像整列ターゲットマスクは、所望の掘削領域の視覚空間コマンドとして機能する。
マスク条件のAction Chunking Transformerは、マルチビューRGB観察、プロプレセプション、ターゲットマスクを時間的に拡張されたジョイスティックコマンドにマッピングする。
論文 参考訳（メタデータ） (2026-08-22T05:01:33Z) - WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation [85.15806404962193]
行動条件付き世界モデル(ACWM)は、計画、ポリシー評価、データ生成のためのスケーラブルな予測シミュレータを具現化したAIを提供することを約束する。
物理シミュレータが期待する観測能力を用いてACWMを評価する。
WorldSimProbeは、制御のバリエーション、相互作用のグラウンディングにおける構造化された障害、ダイナミックスにまたがる、システマティックなアクション実現の劣化を明らかにする。
論文 参考訳（メタデータ） (2026-08-10T08:48:06Z) - Decoupling Semantics and Geometric Grounding: Spatial Visual Prompts for Language-Conditioned Imitation Learning [21.67233368353003]
本稿では,アクション生成ループから空間的グラウンドを明示的に抽出する分離アーキテクチャであるSVP-ILを提案する。
実験では、SVP-ILは最先端のVLAや純粋なビジュモータベースラインよりも著しく優れている。
論文 参考訳（メタデータ） (2026-06-24T03:45:06Z) - Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments [96.23886784364997]
身体的な知性は、操作やナビゲーションといった個々のタスクのための特別なモデルを通してしばしば研究される。
本稿では,Qwenの視覚言語モデリングスタックを連続的な動作と軌道生成に拡張した統一的な基礎モデルであるQwen-VLAを提案する。
論文 参考訳（メタデータ） (2026-05-28T17:36:31Z) - See What I Mean: Aligning Vision and Language Representations for Video Fine-grained Object Understanding [41.70825455674463]
SWIM(See What I Mean)は、視覚と言語表現を調整し、テキストのプロンプトからのみ、きめ細かいオブジェクト理解を可能にする訓練戦略である。
SWIMはテキスト・ビジュアル・アライメントを大幅に改善し,細粒度オブジェクト理解ベンチマークにおける視覚プロンプトに基づく手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2026-05-18T08:09:37Z) - AdaVFM: Adaptive Vision Foundation Models for Edge Intelligence via LLM-Guided Execution [16.961739475497623]
本稿では,言語対応VFMのデバイス上での効率的な推論のための適応型フレームワークであるAdaVFMを提案する。
AdaVFMは言語対応のVFMにNAS(Neural Architecture Search)を統合し、実行中に軽量な実行を可能にする。
クラウド上にデプロイされるマルチモーダル言語モデル(LLM)は、コンテキスト認識エージェントによるランタイム制御を可能にする。
論文 参考訳（メタデータ） (2026-04-17T02:01:33Z) - Natural Language Instructions for Scene-Responsive Human-in-the-Loop Motion Planning in Autonomous Driving using Vision-Language-Action Models [2.2727733134290813]
doScenesは、noScenesのグラウンドトゥルースモーションにフリーフォーム命令をリンクする最初の実世界のデータセットである。
オープンソースMLLMベースのエンドツーエンド駆動フレームワークであるOpenEMMAを採用しています。
我々は、doScenesディレクティブを乗客スタイルのプロンプトとしてOpenEMMAのビジョン言語インタフェースに統合する。
論文 参考訳（メタデータ） (2026-02-04T03:44:56Z) - SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models [60.80050275581661]
VLM(Vision-Language Models)は、目覚しい常識と意味論的推論能力を示す。
物理力学に関する基礎的な理解は欠如している。
テストタイムでシミュレーション可能な ACTion Planning フレームワークである S を提案する。
本手法は,5つの難易度,実世界の剛体および変形可能な操作課題に対して,最先端の性能を示す。
論文 参考訳（メタデータ） (2025-12-05T18:51:03Z) - DexVLG: Dexterous Vision-Language-Grasp Model at Scale [59.5613919093295]
ヒトのような器用な手のための大型モデルを用いた機能的握りの研究はほとんどない。
DexVLGは、言語命令に整合したDexterousグリップポーズ予測のための大型ビジョン言語-Graspモデルである。
シミュレーションでは、174,000個のオブジェクトのセマンティックな部分にマッピングされた1億1千万個のデキスタスなグリップポーズを、詳細な部分レベルのキャプションと組み合わせて生成する。
論文 参考訳（メタデータ） (2025-07-03T16:05:25Z) - ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation [62.58034332427291]
ForceVLAは、新しいエンドツーエンド操作フレームワークである。
外部力センシングは、VLAシステム内の第一級のモダリティとして扱う。
論文 参考訳（メタデータ） (2025-05-28T09:24:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。