論文の概要: PokeVLA: Empowering Pocket-Sized Vision-Language-Action Model with Comprehensive World Knowledge Guidance

• arxiv url: http://arxiv.org/abs/2604.20834v2
• Date: Fri, 24 Apr 2026 16:37:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 13:34:22.034102
• Title: PokeVLA: Empowering Pocket-Sized Vision-Language-Action Model with Comprehensive World Knowledge Guidance
• Title（参考訳）: PokeVLA: 包括的世界知識誘導によるポケットサイズのビジョンランゲージ・アクションモデル
• Authors: Yupeng Zheng, Xiang Li, Songen Gu, Yuhang Zheng, Shuai Tian, Weize Li, Linbo Wang, Senyu Fei, Pengfei Li, Yinfeng Gao, Zebin Xing, Yilun Chen, Qichao Zhang, Haoran Li, Wenchao Ding,
• Abstract要約: PokeVLAは、視覚言語理解をアクション学習に注入する、埋め込み操作のための軽量モデルである。 まず、2.4Mサンプルのマルチモーダルデータセット上で、コンパクトな視覚言語モデル(PokeVLM)を事前訓練する。 LIBERO-Plusベンチマークと実世界のデプロイで、最先端のパフォーマンスが実証されている。
• 参考スコア（独自算出の注目度）: 24.102770290097435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Vision-Language-Action (VLA) models have opened new avenues for robot manipulation, yet existing methods exhibit limited efficiency and a lack of high-level knowledge and spatial awareness. To address these challenges, we propose PokeVLA, a lightweight yet powerful foundation model for embodied manipulation that effectively infuses vision-language understanding into action learning. Our framework introduces a two-stage training paradigm: first, we pre-train a compact vision-language model (PokeVLM) on a curated multimodal dataset of 2.4M samples encompassing spatial grounding, affordance, and embodied reasoning tasks; second, we inject manipulation-relevant representations into the action space through multi-view goal-aware semantics learning, geometry alignment, and a novel action expert. Extensive experiments demonstrate state-of-the-art performance on the LIBERO-Plus benchmark and in real-world deployment, outperforming comparable baselines in success rate and robustness under diverse perturbations. To foster reproducibility and community progress, we will open-source our code, model weights, and the scripts for the curated pre-training dataset. Project page: https://getterupper.github.io/PokeVLA
• Abstract（参考訳）: 近年のVLA(Vision-Language-Action)モデルは,ロボット操作のための新たな道を開いたが,既存の手法では効率が制限され,高度な知識や空間認識が欠如している。 これらの課題に対処するため、我々はPokeVLAを提案する。PokeVLAは、動作学習に視覚言語理解を効果的に注入する、操作を具体化するための軽量で強力な基盤モデルである。 まず、空間的接地、空き時間、具体的推論タスクを含む2.4Mサンプルのキュレートされたマルチモーダルデータセット上で、コンパクトな視覚言語モデル(PokeVLM)を事前学習し、第2に、多視点ゴール認識セマンティクス学習、幾何学的アライメント、新しいアクションエキスパートを通じて、アクション空間に操作関連表現を注入する。 LIBERO-Plusベンチマークや実世界の展開において、さまざまな摂動の下で成功率と堅牢性において同等のベースラインを上回り、最先端のパフォーマンスを実証する大規模な実験が実施されている。 再現性とコミュニティの進歩を促進するため、私たちは、コードのオープンソース化、モデルの重み付け、キュレートされた事前トレーニングデータセットのスクリプトを公開します。 プロジェクトページ: https://getterupper.github.io/PokeVLA

関連論文リスト

• DIAL: Decoupling Intent and Action via Latent World Modeling for End-to-End VLA [72.9197085473598]
  DIALはハイレベルな意思決定と低レベルなモーター実行を、差別化可能な潜在意図ボトルネックを通じてブリッジするフレームワークである。 VLMベースのSystem-2は、VLMのネイティブな特徴空間内で、潜伏した視覚的フォレストによって潜伏世界モデリングを行う。 軽量のSystem-1ポリシーでは、この予測された意図と現在の観測結果を正確にロボットの動作にデコードする。
  論文  参考訳（メタデータ） (2026-03-31T15:02:27Z)
• iFlyBot-VLA Technical Report [25.330744626382977]
  iFlyBot-VLA(iFlyBot-VLA)は、新しいフレームワークでトレーニングされた大規模ビジョン・ランゲージ・アクション(VLA)モデルである。 主なコントリビューションは,(1)大規模人体とロボットの操作映像を徹底的に訓練した潜在行動モデル,(2)視覚言語モデル(VLM)と訓練中のアクションエキスパートを協調的に監督する2段階の行動表現フレームワーク,(3)ロボット軌道データと一般的なQAデータセットと空間QAデータセットを組み合わせた混合トレーニング戦略である。
  論文  参考訳（メタデータ） (2025-11-01T06:24:56Z)
• dVLA: Diffusion Vision-Language-Action Model with Multimodal Chain-of-Thought [66.78110237549087]
  VLA(Vision-Language-Action)モデルは、ロボット工学の次世代パラダイムとして登場しつつある。 単一システムにおける視覚認識,言語推論,ロボット制御を統一する拡散型VLAであるdVLAを紹介する。
  論文  参考訳（メタデータ） (2025-09-30T02:36:11Z)
• ReVLA: Reverting Visual Domain Limitation of Robotic Foundation Models [55.07988373824348]
  既存の3つのロボット基礎モデルの視覚的一般化能力について検討する。 本研究は,既存のモデルがドメイン外シナリオに対する堅牢性を示していないことを示す。 モデルマージに基づく段階的なバックボーンリバーサルアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-23T17:47:59Z)
• TinyVLA: Towards Fast, Data-Efficient Vision-Language-Action Models for Robotic Manipulation [32.406783380729024]
  VLA(Vision-Language-Action)モデルは、エンド・ツー・エンドの学習プロセスを通じて、視覚運動制御と命令理解において顕著な可能性を示している。 現在のVLAモデルは、推論中に遅くなり、大量のロボットデータに対して広範な事前トレーニングを必要としているため、重大な課題に直面している。 既存のVLAモデルに対して2つのアドバンテージを提供する,TinyVLAと呼ばれる,コンパクトな視覚言語アクションモデルを導入した。
  論文  参考訳（メタデータ） (2024-09-19T07:10:18Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。