論文の概要: Do VLAs Understand and Adapt to the Objects They Handle, or Simply Replay Learned Behaviors?

• arxiv url: http://arxiv.org/abs/2610.06078v1
• Date: Mon, 05 Oct 2026 10:11:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 18:54:26.896896
• Title: Do VLAs Understand and Adapt to the Objects They Handle, or Simply Replay Learned Behaviors?
• Title（参考訳）: VLAは、自分たちが扱うオブジェクトを理解し、適応するか、それとも単に学習された振る舞いを再生するか?
• Abstract要約: 本稿では,VLAの一般化がオブジェクトの物理的性質のグローバルな理解に根ざしているかどうかを問う。 質量、脆性、変形性、摩擦、大きさなどの物理的性質は、非物理的性質よりも小さい。
• 参考スコア（独自算出の注目度）: 4.826546436831589
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper asks whether VLA generalization is grounded in a global understanding of objects' physical properties that enables policies to adapt their motion to unseen setups, or if policies simply replay the motions they've learnt that happen to succeed in new setups. The former reflects genuine generalization; the latter reflects incidental robustness. We first examine awareness of physical properties in seven VLAs by applying linear probing and representational similarity analysis (RSA) to their activations. We find that physical properties, including mass, fragility, deformability, friction and size are less decodable than non-physical properties such as semantic category, material, sound and price in nearly every modality stream. Compared with their base VLMs, robot pre-training weakens the linear encoding of physical properties in the language stream. Neither pre-training nor downstream fine-tuning strengthens the alignment between physical-property differences and activation distances. We then ask whether the weak physical information present in these activations shapes the actions a VLA generates. In a controlled LIBERO case study, we increase the mass of an in-domain object and signal the change through language or vision. Most VLAs use similar lifting behaviour for the heavier and original-mass objects, leading to task success declines. The few exceptions change their behaviour in response to lexical or visual cues rather than to mass itself. These results suggest that VLAs encode physical properties weakly and do not reliably use them to adapt their motion.
• Abstract（参考訳）: 本稿は、VLAの一般化がオブジェクトの物理特性のグローバルな理解に根ざしているかどうかを問うものである。 前者は真の一般化を反映し、後者は偶発的堅牢性を反映している。 まず,7つのVLAにおける物理特性の認識について,線形探索と表現類似性解析(RSA)を用いて検討した。 質量, 脆性, 変形性, 摩擦, サイズなどの物理的特性は, ほぼすべての様相ストリームにおいて, 意味圏, 材料, 音, 価格などの非物理的特性よりも小さいことが判明した。 基礎となるVLMと比較して、ロボットの事前学習は言語ストリームにおける物理特性の線形符号化を弱める。 トレーニング前の微調整も下流の微調整も、物理的優位性の違いとアクティベーション距離のアライメントを強化するものではない。 次に、これらのアクティベーションに存在する弱い物理情報が、VLAが生成するアクションを形作るかどうかを問う。 制御されたLIBEROケーススタディでは、ドメイン内のオブジェクトの質量を増大させ、言語や視覚を通して変化を知らせる。 ほとんどのVLAは、重くて原始的な質量を持つ物体に対して同様の昇降挙動を使用しており、タスクの成功率は低下している。 少数の例外は、質量そのものではなく、語彙的または視覚的な手がかりに反応して行動を変える。 これらの結果は、VLAが物理特性を弱くエンコードし、それらの動きを確実に適応させることができないことを示唆している。

関連論文リスト

• Does Physics Live in the Activations? Localizing Physical Quantities in Video Diffusion Models [3.3470427195962458]
  本研究では,シミュレータ由来の地上構造物理量に対するビデオ拡散変換器の内部表現について検討する。 これらの量はデノナイジング過程の早い段階で高い精度で線形にデノオード可能であることが判明した。 また、オンオブジェクトトークンでのアクティベーションは関連した物理情報を持ち、複数のフレーム上で定義された量は、単一の潜在フレームから読み取ることができることを示す。
  論文  参考訳（メタデータ） (2026-10-02T11:26:09Z)
• CometVLA: Co-Training on an Embodied Data Pyramid towards Physical Understanding [56.55196056616493]
  視覚言語アクション(VLA)モデルは、物理コモンセンスを必要とする操作タスクにおいて脆弱なままである。 VLMの物理的理解の改善が下流のアクション生成に実際に寄与するかどうかは不明だ。 我々は,ロボットの動作データと実施状況に厳密に整合した物理VQAコーパスとベンチマークであるCometVLAを提示する。
  論文  参考訳（メタデータ） (2026-08-31T05:55:34Z)
• Physically Grounded Vision-Language Models for Robotic Manipulation [59.143640049407104]
  39.6Kのクラウドソースと417Kの自動物理概念アノテーションからなるオブジェクト中心のデータセットであるPhysObjectsを提案する。 本稿では,PhysObjects上での視覚言語モデルの微調整により,物理オブジェクト概念の理解が向上することを示す。 我々は、この物理的基盤を持つVLMを、大規模言語モデルに基づくロボットプランナーと対話的なフレームワークに組み込む。
  論文  参考訳（メタデータ） (2023-09-05T20:21:03Z)
• Use the Force, Luke! Learning to Predict Physical Forces by Simulating Effects [79.351446087227]
  物体と相互作用する人間の映像から接触点と物理的力の推測の問題に対処する。 具体的には、シミュレーションを用いて効果を予測し、推定された力がビデオに描かれたものと同じ効果をもたらすことを強制する。
  論文  参考訳（メタデータ） (2020-03-26T17:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。