論文の概要: Know Your Body: A Harness for Direct and Self-Improving Robot Control with VLMs
- arxiv url: http://arxiv.org/abs/2609.28530v1
- Date: Tue, 22 Sep 2026 17:57:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.383362
- Title: Know Your Body: A Harness for Direct and Self-Improving Robot Control with VLMs
- Title(参考訳): 体を知る:VLMによる直接的・自己改善型ロボット制御のハーネス
- Abstract要約: KnowBodyは、アクション関連ボディ関係を明確にし、クエリ可能で、修正可能なハーネスである。
KnowBodyは75%の完成率とネイティブハーネスの25%を達成している。
永続的な更新を有効にすると、プランナーラウンドは1回目から5回目まで29~53%減少する。
- 参考スコア(独自算出の注目度): 20.982999884745094
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A general-purpose vision-language model can understand a task goal without knowing how a particular robot's motion and functional parts produce the intended effect. We introduce KnowBody, a harness that makes these action-relevant body relations explicit, queryable, and revisable while keeping the model weights frozen. Initialized from one off-task trajectory, a partial body model guides action selection and the interpretation of past interactions. New evidence refines the model, and knowledge dependent on revised body estimates is rechecked before reuse. Across 32 fixed-budget trials on four real-robot tasks, initialized KnowBody achieves 75% completion versus 25% for the native harness and requires fewer planner rounds on successful trials in tasks completed by both. With persistent updates enabled, planner rounds decrease by 29-53% from the first to the fifth recorded success.
- Abstract(参考訳): 汎用視覚言語モデルは、特定のロボットの動きや機能部品がどのように意図された効果をもたらすかを知ることなく、タスク目標を理解することができる。
KnowBodyは、モデルウェイトを凍結させながら、これらのアクション関連ボディー関係を明確にし、クエリ可能で、修正可能にするハーネスである。
1つのオフタスク軌道から初期化された部分体モデルは、過去の相互作用の解釈と行動選択を導く。
新たなエビデンスによってモデルが洗練され、修正された身体推定に依存する知識が再利用前に再検査される。
実際の4つのタスクに対する32回の固定予算試験で、初期化されたKnowBodyは、ネイティブハーネスに対して75%の完成率と25%を達成し、どちらも完了したタスクで成功したテストにおいてプランナーラウンドを少なくする。
永続的な更新を有効にすると、プランナーラウンドは1回目から5回目まで29~53%減少する。
関連論文リスト
- VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。
汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。
モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
論文 参考訳(メタデータ) (2026-09-17T01:24:51Z) - World Models for Embodied Intelligence: From Plausible to Controllable to Actionable [100.13060753774657]
世界モデルは、隠れた状態を維持し、結果を予測し、介入を比較し、実行が期待から外れたときに適応することによって、インテリジェンスにおける知覚と意思決定を結びつける。
これは、どの予測能力が振る舞いを改善するかという、中心的な疑問を提起する。
可塑性モデルは、タスク関連時間的・幾何学的・物理的構造を保存し、制御可能なモデルは、介入がどのように構造を変えるかを予測し、アクション可能なモデルは、予測を計画、行動、学習、評価、検証、回復、データ選択において測定可能な利得に変換する。
論文 参考訳(メタデータ) (2026-09-15T06:22:42Z) - GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation [63.853929983870955]
本稿では,ジェニー・エンスペクタ法 2.0 (GE-Act 2.0) について紹介する。
制御指向オートエンコーダ(CoAE)、ワンステップビジュアルプランナー(SVP)、逆ダイナミクスモデル(IDM)を組み合わせている。
それらのコンポーネントは、知識に整合した選択最適化(KASO)で共同で訓練され、記録された行動に適合していると判断された予測された未来のみを選択することで、ミスマッチした監視を減らす。
論文 参考訳(メタデータ) (2026-09-04T17:16:48Z) - Aspire: Can Models Self-Evolve from Vague Goals? [61.65007006747275]
我々はあいまいなゴール駆動型自己進化のベンチマークであるASPIREを紹介する。
ASPIREは、統一された対話環境におけるモデルウェイトとエージェントハーネスの進化をサポートする。
実験の結果,曖昧な目標が探索努力を目標解釈に向けることが示唆された。
論文 参考訳(メタデータ) (2026-08-31T17:14:59Z) - Forecast-aware Gaussian Splatting for Predictive 3D Representation in Language-Guided Pick-and-Place Manipulation [4.711302998453154]
Forecast-aware Gaussian Splatting (Forecast-GS)は,言語条件のロボット操作のための予測3D表現フレームワークである。
我々は、Cutter-to-Box、Apple-to-Bowl、Spnge-to-Trayなどの実世界のピック・アンド・プレイス操作タスクでForecast-GSを検証する。
自動候補選択を行うForecast-GSは、3つのタスクでそれぞれ21/25,23/25,16/25の成功率を達成する。
論文 参考訳(メタデータ) (2026-05-11T18:48:26Z) - Evaluating the Performance of Deep Learning Models in Whole-body Dynamic 3D Posture Prediction During Load-reaching Activities [0.0]
2つの時系列モデルは、双方向長短期メモリ(BLSTM)とトランスフォーマーアーキテクチャを用いて訓練された。
その結果, 新しいコスト関数により, アームモデルと脚モデルでそれぞれ約8%, 21%の予測誤差が減少した。
論文 参考訳(メタデータ) (2025-11-25T18:40:48Z) - Rethinking Bimanual Robotic Manipulation: Learning with Decoupled Interaction Framework [51.39847596489193]
バイオマチックなロボット操作は、ロボティクスコミュニティにおいて、新しくて重要なトピックである。
本稿では,バイマニュアル操作における異なるタスクの特徴を考察した,疎結合なインタラクションフレームワークを提案する。
我々のフレームワークは,SOTA法よりも23.5%向上し,優れた性能を実現している。
論文 参考訳(メタデータ) (2025-03-12T09:28:41Z) - H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding
Object Articulations from Interactions [62.510951695174604]
The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。
提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。
我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
論文 参考訳(メタデータ) (2022-10-22T18:39:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。