論文の概要: Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2606.19297v1
• Date: Wed, 17 Jun 2026 17:20:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.286173
• Title: Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models
• Title（参考訳）: VLAは基本を知っているか?ビジョン・ランゲージ・アクションモデルにおける常識と世界的知識保持の測定
• Authors: Nikita Kachaev, Andrey Moskalenko, Matvey Skripkin, Nikita Kurlaev, Daria Pugacheva, Albina Burlova, Mikhail Kolosov, Denis Shepelev, Andrey Kuznetsov, Elena Tutubalina, Aleksandr I. Panov, Alexey K. Kovalev, Vlad Shakhuro,
• Abstract要約: 本稿では, VLM の知識ベンチマークを VLA 評価に適用するプロトコルである Act2Answer を紹介する。 各質問は、エージェントが候補回答の中から選択するための1つのオブジェクト配置アクションを実行する短いテーブルトップエピソードとなり、制御ミスの少ないアクショングラウンドの成功率が得られる。 7つのVLAモデルと9つのVLMベースラインの大規模研究において、VLAがよりリッチなセマンティックカテゴリに対してより大きなギャップを示しながら、単純な概念に対して確固たる性能を示すことを発見した。
• 参考スコア（独自算出の注目度）: 42.38903028184938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embodied Vision-Language-Action (VLA) models are typically obtained by fine-tuning powerful pretrained VLMs on robotics data, yet it is unclear how much commonsense and factual knowledge they retain after adaptation. Failures on knowledge-sensitive tasks are ambiguous, conflating missing knowledge with poor generalization of low-level control. We introduce Act2Answer, a lightweight protocol that adapts VLM knowledge benchmarks to VLA evaluation by requiring agents to answer through action. Each question becomes a short tabletop episode where the agent performs a single object-placement action to select among candidate answers, yielding an action-grounded success rate with reduced control confounds. We curate a test suite of such environments across diverse commonsense and world-knowledge categories and introduce layerwise intent probing to localize answer-relevant information across the VLM backbone and action head. In a large-scale study of 7 VLA models and 9 VLM baselines, we systematically rank models across categories, finding that VLAs show solid performance on simple concepts while exhibiting larger gaps on richer semantic categories relative to their source VLMs, that VQA co-training is associated with better knowledge retention, and that answer-relevant signals peak in middle VLA layers but attenuate in upper layers. Act2Answer is available at https://tttonyalpha.github.io/act2answer/.
• Abstract（参考訳）: VLA(Embodied Vision-Language-Action)モデルは、典型的には、ロボットのデータに基づいて、訓練済みの強力なVLMを微調整することによって得られる。 知識に敏感なタスクの失敗は曖昧であり、不足した知識と低レベルの制御の一般化を混同する。 本稿では,VLM知識ベンチマークをVLA評価に適用する軽量プロトコルであるAct2Answerを紹介する。 各質問は、エージェントが候補回答の中から選択するための1つのオブジェクト配置アクションを実行する短いテーブルトップエピソードとなり、制御ミスの少ないアクショングラウンドの成功率が得られる。 多様なコモンセンスや世界知識のカテゴリにまたがるテストスイートをキュレートし、VLMバックボーンとアクションヘッドにまたがる応答関連情報をローカライズするための階層的意図探索を導入する。 7つのVLAモデルと9つのVLMベースラインの大規模研究において、VLAは、ソースVLMと比較してよりリッチなセマンティックカテゴリに大きなギャップを示し、VQAコトレーニングはより良い知識保持と結びつき、応答関連信号は中央VLA層でピークとなるが、上位層では減衰する。 Act2Answerはhttps://tttonyalpha.github.io/act2answer/.comで入手できる。

関連論文リスト

• QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
  VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。 VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。 提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
  論文  参考訳（メタデータ） (2026-05-24T06:28:53Z)
• Steerable Vision-Language-Action Policies for Embodied Reasoning and Hierarchical Control [46.169163284648384]
  Steerable Policies: サブタスクやモーション,接地したピクセル座標など,さまざまな抽象化レベルで,リッチな合成コマンドに基づいてトレーニングされたVLA。 この利点は、学習した高レベルな具体的推論器と既製のVLMの両方を使って、コンテキスト内学習を通じてコマンドの抽象化を推論することで実証する。
  論文  参考訳（メタデータ） (2026-02-13T18:57:56Z)
• VLM4VLA: Revisiting Vision-Language-Models in Vision-Language-Action Models [43.09726338623949]
  Vision-Language-Action(VLA)モデルは、事前訓練された大規模なVision-Language Models(VLM)をポリシーバックボーンに統合する。 本稿では、VLMの選択と能力が下流のVLAポリシーのパフォーマンスにどのように変換されるかという、体系的に研究されることは滅多にない。 VLM4VLAは、汎用的なVLMを、学習可能なパラメータの小さなセットのみを用いてVLAポリシーに変換する、最小限の適応パイプラインである。
  論文  参考訳（メタデータ） (2026-01-06T09:58:24Z)
• How Do VLAs Effectively Inherit from VLMs? [28.72002932514493]
  視覚言語アクション(VLA)モデルは、一般化可能な具体化制御を実現するという約束を持っている。 我々は、絵文字テーブルトップ操作タスクであるGrinningFaceという診断ベンチマークを導入する。 本稿では,パラメータ効率のよい微調整,VLM凍結,協調学習,離散化動作の予測,潜伏動作の予測の効果について検討する。
  論文  参考訳（メタデータ） (2025-11-10T01:58:02Z)
• From Intention to Execution: Probing the Generalization Boundaries of Vision-Language-Action Models [5.660635614478238]
  VLA(Vision-Language-Action)モデルは、汎用的で汎用的なロボットポリシーを作成することを約束する。 従来の模倣学習ベンチマークは言語命令の欠如のため不適当である。 言語命令,視覚,オブジェクトにまたがる10のサブカテゴリにまたがる50のシミュレーションベースのタスクの統合スイートを導入する。
  論文  参考訳（メタデータ） (2025-06-11T16:52:18Z)
• Knowledge Insulating Vision-Language-Action Models: Train Fast, Run Fast, Generalize Better [58.559985503802054]
  視覚言語アクション(VLA)モデルは、エンド・ツー・エンドの学習とWebスケール視覚言語モデル(VLM)トレーニングからの意味知識の伝達を組み合わせたモデルである。 最も強力なVLMは数十億から数百億のパラメータを持ち、リアルタイム推論の障害となる。 近年のVLAモデルは、アクションエキスパートや連続出力ヘッドのような効率的な連続制御のための特別なモジュールを使用している。 このような専門家を内面的に含むと、トレーニング速度と知識伝達の両方に悪影響を及ぼすことが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-29T17:40:09Z)
• MACAROON: Training Vision-Language Models To Be Your Engaged Partners [95.32771929749514]
  大規模視覚言語モデル(LVLM)は、質問が曖昧でラベルが付されていない場合でも詳細な応答を生成する。 本研究では,LVLMを受動的回答提供者から積極的参加パートナーへ移行することを目的とする。 我々は、LVLMに対して、ラベルなし質問に対するコントラスト応答対を自律的に生成するように指示する、ContrAstive pReference Optimizationのための自己iMaginAtionであるMACAROONを紹介する。
  論文  参考訳（メタデータ） (2024-06-20T09:27:33Z)
• SearchLVLMs: A Plug-and-Play Framework for Augmenting Large Vision-Language Models by Searching Up-to-Date Internet Knowledge [56.772051051558215]
  大規模視覚言語モデル(LVLM)は、LLaVAシリーズのような最新の知識を知らない。 本稿では,サーチLVLMと呼ばれる最新の知識に関する視覚的質問応答(VQA)を扱うために,既存のLVLMを増補するプラグイン・アンド・プレイフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T13:32:07Z)
• ViCor: Bridging Visual Understanding and Commonsense Reasoning with Large Language Models [27.5219975853389]
  事前学習された視覚・言語モデル (VLM) と大規模言語モデル (LLM) は,様々な視覚コモンセンス推論問題に長けている。 画像内容以外の結論を推測することが目的である場合、VLMは困難に直面し、LLMは十分な視覚的証拠を与えられた場合、その答えをよく推測するために常識を使用することができる。
  論文  参考訳（メタデータ） (2023-10-09T17:10:35Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。