論文の概要: HumanCLAW: Can Vision-Language Models Act Through a Body?

• arxiv url: http://arxiv.org/abs/2607.27180v2
• Date: Mon, 03 Aug 2026 21:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 13:15:27.398107
• Title: HumanCLAW: Can Vision-Language Models Act Through a Body?
• Title（参考訳）: HumanCLAW: 視覚言語モデルは身体を通して作用できるのか?
• Abstract要約: 視覚言語モデルが身体を通して作用するかどうかを評価することは難しい。 我々は,低レベルの実行から行動決定を分離する評価フレームワークであるHumanCLAWを紹介する。 我々はHumanCLAW-Bench: 1,218のロングホライゾン、エゴセントリックなファイン・ナビゲート・インタラクションのエピソードを、41の屋内シーンで制作しました。
• 参考スコア（独自算出の注目度）: 85.21844574299055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating whether a vision-language model (VLM) can act through a physical body is challenging. The outcome of an action couples the VLM's decision with motor control. When a task fails, it is hard to tell whether the VLM made a bad choice or the motor controller simply failed to execute it, e.g., losing balance and falling. In this work, we introduce HumanCLAW, an evaluation framework that decouples action decision-making from low-level execution. At every step, a harnessed, off-the-shelf VLM issues an atomic skill command, and the command is translated into a sub-second chunk of continuous full-body motion with real physical consequences, including gravity and collisions. The body can therefore act freely in the physical world, while execution-side disturbances, balance and motor errors, are factored out. What remains measurable is the model's action intelligence: its moment-to-moment choice of what the body should execute next. Based on this framework, we build HumanCLAW-Bench: 1,218 long-horizon, egocentric find-navigate-interact episodes across 41 indoor scenes. We test nine state-of-the-art VLMs and find that none solves the benchmark; the best model reaches only a 16.8% success rate. Recognizing the target is not the bottleneck. What current VLMs lack is embodied self-awareness: they lose track of their own body, failing to tell where it is, whether it has reached the goal, or whether it has hit an obstacle.
• Abstract（参考訳）: 視覚言語モデル(VLM)が身体を通して作用するかどうかを評価することは困難である。 アクションの結果は、VLMの決定とモーター制御とを結合する。 タスクが失敗した場合、VLMが悪い選択をしたのか、あるいはモーターコントローラが単にそれを実行できなかったのか、例えば、バランスを失い、低下したのかを判断するのは困難である。 本稿では,低レベルの実行から行動決定を分離する評価フレームワークであるHumanCLAWを紹介する。 あらゆるステップにおいて、使用済みで市販のVLMは原子スキルコマンドを発行し、コマンドは重力や衝突を含む実際の物理的結果を含む、連続したフルボディ運動の秒以下のチャンクに変換される。 したがって、身体は物理的世界で自由に行動できるが、実行側の乱れ、バランス、運動の誤差は除外される。 モデルが測定可能なのはアクションインテリジェンスです。 この枠組みに基づいて、41の屋内シーンで1,218の長いホライゾン、エゴセントリックなファイン・ナビゲート・インターオペラクト・エピソードを構築します。 我々は9つの最先端のVLMをテストし、ベンチマークを解決していないことを発見し、最良のモデルは16.8%の成功率にしか達しない。 ターゲットを認識することがボトルネックではありません。 現在のVLMに欠けているのは、自己認識の具体化です。彼らは自分の身体の追跡を失い、それがどこにあるのか、目標に達したのか、障害にぶつかったのかを知らないのです。

関連論文リスト

• ReactHuman: A Physics-Grounded Benchmark for Human-Like Reactive Decision-Making in Embodied Multimodal LLMs [23.426066450749044]
  ReactHumanは、人間のようなリアクティブな意思決定のための、初めての物理地上ベンチマークです。 我々は、合理的、安全、物理的に接地された3つの軸に沿って、それぞれの反応をスコアする5メートルのスイートを設計します。 その結果、反応性の安全性は未解決であることがわかった。
  論文  参考訳（メタデータ） (2026-09-09T22:56:21Z)
• The Imitator Game: Benchmarking Robot Imitative Ability Beyond Action Prediction [23.90153863744227]
  人間のビデオから学ぶための4段階のベンチマークであるThe Imitator Gameを紹介した。 人間の実演とロボット自身のシーンのギャップを徐々に広げ、軌道上のリプレイが止まる場所を分離する。 私たちはIG-10Kと、これまでで最大の環境整合型人間ロボットデータセット、そして盲目のA/B人間評価のためのオープンプラットフォームであるImitator Arenaと組み合わせました。
  論文  参考訳（メタデータ） (2026-08-23T08:51:01Z)
• Can Vision-Language Models Solve the Shell Game? [15.221979890090077]
  VETベンチ(VET-Bench)は、時間的連続性によるトラッキングを必要とする、視覚的に同一の物体を特徴とする、総合的な診断テストベッドである。 本手法は,VET-Bench上で90%を超える最先端の精度を達成し,ヴィジュアル・ランゲージ・モデルが外部ツールを使わずに,映像シェル・ゲーム・タスクをエンド・ツー・エンドで確実に解決できることを実証した。
  論文  参考訳（メタデータ） (2026-03-09T14:33:25Z)
• SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models [60.80050275581661]
  VLM(Vision-Language Models)は、目覚しい常識と意味論的推論能力を示す。 物理力学に関する基礎的な理解は欠如している。 テストタイムでシミュレーション可能な ACTion Planning フレームワークである S を提案する。 本手法は,5つの難易度,実世界の剛体および変形可能な操作課題に対して,最先端の性能を示す。
  論文  参考訳（メタデータ） (2025-12-05T18:51:03Z)
• TRAVL: A Recipe for Making Video-Language Models Better Judges of Physics Implausibility [70.24211591214528]
  ビデオ生成モデルは、浮動、テレポート、モーフィングのような直感的な物理法則に違反したシーケンスを生成する。 既存のビデオランゲージモデル(VLM)は、物理違反の特定に苦慮し、時間的および因果的推論における根本的な制限を明らかにしている。 我々は、バランスの取れたトレーニングデータセットと軌道認識型アテンションモジュールを組み合わせた微調整レシピTRAVLを導入し、モーションエンコーディングを改善する。 言語バイアスを除去し,視覚的時間的理解を分離する300本のビデオ(150本実写150本)のベンチマークであるImplausiBenchを提案する。
  論文  参考訳（メタデータ） (2025-10-08T21:03:46Z)
• MindJourney: Test-Time Scaling with World Models for Spatial Reasoning [97.61985090279961]
  視覚言語モデルのためのテスト時間スケーリングフレームワークであるMindJourneyを提案する。 我々は,代表的空間推論ベンチマークSATにおいて,MindJourneyが平均7.7%以上の性能向上を達成したことを示す。 また,本手法は,強化学習により訓練した試験時間推定VLMも改善する。
  論文  参考訳（メタデータ） (2025-07-16T17:59:36Z)
• Can Vision Language Models Infer Human Gaze Direction? A Controlled Study [8.523773928772552]
  他人が見ているものを推測する能力は、自然な人間とAIの相互作用を支える心の理論の重要な要素である。 111の視覚言語モデル(VLM)と人間の参加者にこのスキルを特徴付ける。 その結果、111個のVLMのうち94個のVLMはランダムな推測ほど良くないことがわかった。
  論文  参考訳（メタデータ） (2025-06-04T17:59:25Z)
• ManipBench: Benchmarking Vision-Language Models for Low-Level Robot Manipulation [16.729702815913907]
  VLM(Vision-Language Models)は、人工知能とロボティクスに革命をもたらした。 ロボット操作では、VLMは主に高レベルプランナーとして使用されるが、最近の研究は、その低レベル推論能力についても研究している。 VLMの低レベルロボット操作推論能力を評価するために,新しいベンチマークManipBenchを提案する。
  論文  参考訳（メタデータ） (2025-05-14T18:01:00Z)
• MotIF: Motion Instruction Fine-tuning [46.517750125047236]
  多くのタスクは、成功を正しく判断するためにロボットの完全な動きを観察する必要がある。 先行研究では、成功検知器として市販のヴィジュアル言語モデル(VLM)がよく用いられていた。 本研究では,VLMを微調整し,ロボットの動作を環境内で意味的にグルーピングするモーションインストラクションファインタニング(MotIF)を提案する。
  論文  参考訳（メタデータ） (2024-09-16T19:30:21Z)
• From Motor Control to Team Play in Simulated Humanoid Football [56.86144022071756]
  我々は、現実的な仮想環境でサッカーをするために、物理的にシミュレートされたヒューマノイドアバターのチームを訓練する。 一連の段階において、プレイヤーはまず、現実的な人間のような動きを実行するために、完全に関節化された身体を制御することを学習する。 その後、ドリブルやシューティングといった中級のサッカーのスキルを身につける。 最後に、彼らは他の人を意識し、チームとしてプレーし、ミリ秒のタイムスケールで低レベルのモーターコントロールのギャップを埋める。
  論文  参考訳（メタデータ） (2021-05-25T20:17:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。