論文の概要: Vision-Language-Action in Robotics: A Survey of Datasets, Benchmarks, and Data Engines
- arxiv url: http://arxiv.org/abs/2604.23001v1
- Date: Fri, 24 Apr 2026 20:41:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.092625
- Title: Vision-Language-Action in Robotics: A Survey of Datasets, Benchmarks, and Data Engines
- Title(参考訳): ロボットのビジョン・ランゲージ・アクション:データセット、ベンチマーク、データエンジンの調査
- Authors: Ziyao Wang, Bingying Wang, Hanrong Zhang, Tingting Du, Tianyang Chen, Guoheng Sun, Yexiao He, Zheyu Shen, Wanghao Ye, Ang Li,
- Abstract要約: 我々は、データセット、ベンチマーク、データエンジンの3つの柱を中心に構成されたVLA研究の体系的、データ中心の分析を行う。
データセットでは,実世界のコーパスと合成コーパスを,エンボディメントの多様性,モダリティの構成,行動空間の定式化とともに分類する。
ベンチマークでは,タスクの複雑性と環境構造を共同で解析し,構成一般化における構造的ギャップを明らかにする。
データエンジンでは,シミュレーションベース,ビデオ再構成,タスク生成の自動パラダイムについて検討する。
- 参考スコア(独自算出の注目度): 14.989533826340486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite remarkable progress in Vision--Language--Action (VLA) models, a central bottleneck remains underexamined: the data infrastructure that underlies embodied learning. In this survey, we argue that future advances in VLA will depend less on model architecture and more on the co-design of high-fidelity data engines and structured evaluation protocols. To this end, we present a systematic, data-centric analysis of VLA research organized around three pillars: datasets, benchmarks, and data engines. For datasets, we categorize real-world and synthetic corpora along embodiment diversity, modality composition, and action space formulation, revealing a persistent fidelity-cost trade-off that fundamentally constrains large-scale collection. For benchmarks, we analyze task complexity and environment structure jointly, exposing structural gaps in compositional generalization and long-horizon reasoning evaluation that existing protocols fail to address. For data engines, we examine simulation-based, video-reconstruction, and automated task-generation paradigms, identifying their shared limitations in physical grounding and sim-to-real transfer. Synthesizing these analyses, we distill four open challenges: representation alignment, multimodal supervision, reasoning assessment, and scalable data generation. Addressing them, we argue, requires treating data infrastructure as a first-class research problem rather than a background concern.
- Abstract(参考訳): Vision-Language-Action(VLA)モデルが著しく進歩しているにもかかわらず、中心的なボトルネックは未検討のままである。
本調査では,VLAの今後の進歩はモデルアーキテクチャよりも,高忠実度データエンジンと構造化評価プロトコルの協調設計に大きく依存すると考えられる。
この目的のために、データセット、ベンチマーク、データエンジンの3つの柱を中心に整理されたVLA研究の体系的、データ中心分析を提案する。
データセットでは,実世界のコーパスと合成コーパスを,エンボディメントの多様性,モダリティの構成,行動空間の定式化に沿って分類し,大規模コレクションを根本的に制約する永続的忠実度コストのトレードオフを明らかにする。
ベンチマークでは,タスクの複雑性と環境構造を共同で解析し,構成一般化における構造的ギャップを明らかにするとともに,既存のプロトコルが対応できないような長期的推論評価を行う。
データエンジンでは,シミュレーションベース,ビデオ再構成,自動タスク生成のパラダイムを検討した。
これらの分析を合成し、アライメントアライメント、マルチモーダル監視、推論アセスメント、スケーラブルなデータ生成の4つのオープン課題を抽出する。
これらの問題に対処するには、バックグラウンドの懸念よりも、データインフラストラクチャを第一級の研究問題として扱う必要がある、と私たちは主張する。
関連論文リスト
- Vision-and-Language Navigation for UAVs: Progress, Challenges, and a Research Roadmap [10.048113624715151]
UAV-VLN (Vision-and-Language Navigation for Unmanned Aerial Vehicles) は、人工知能において重要な課題である。
本稿では,その形式的タスク定義から現状まで,その分野を包括的かつ構造化した調査を行う。
論文 参考訳(メタデータ) (2026-04-15T09:20:02Z) - Tracing the Roots: A Multi-Agent Framework for Uncovering Data Lineage in Post-Training LLMs [81.43302841109349]
学習後のデータは、大規模言語モデル(LLM)の機能を形成する上で重要な役割を果たす
本稿では,データセット開発における進化グラフを再構築する自動マルチエージェントフレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-12T06:24:07Z) - CoMa: Contextual Massing Generation with Vision-Language Models [7.943264761730892]
本稿では,機能要件とサイトコンテキストに基づいて,マッサージを自動生成するフレームワークを提案する。
このようなデータ駆動手法の主な障害は、適切なデータセットがないことである。
我々は、このデータセットを、視覚言語モデルのための条件タスクとしてマッサージ生成を定式化してベンチマークする。
論文 参考訳(メタデータ) (2026-01-13T11:44:00Z) - From Parameters to Performance: A Data-Driven Study on LLM Structure and Development [73.67759647072519]
大規模言語モデル(LLM)は、様々な領域で大きな成功を収めている。
モデルスケールと能力の急激な成長にもかかわらず、構造構成がパフォーマンスに与える影響に関する体系的なデータ駆動の研究は依然として少ない。
多様なオープンソースLLM構造を含む大規模データセットと,その性能を複数のベンチマークで比較した。
論文 参考訳(メタデータ) (2025-09-14T12:20:39Z) - Multimodal Data Storage and Retrieval for Embodied AI: A Survey [8.079598907674903]
EAI(Embodied AI)エージェントは物理的世界と相互作用し、巨大で異質なマルチモーダルデータストリームを生成する。
EAIの中核となる要件は、物理的グラウンディング、低レイテンシアクセス、動的スケーラビリティである。
私たちの調査は180以上の関連する研究の包括的なレビューに基づいており、堅牢で高性能なデータ管理フレームワークを設計するための厳密なロードマップを提供しています。
論文 参考訳(メタデータ) (2025-08-19T15:04:02Z) - OpenConstruction: A Systematic Synthesis of Open Visual Datasets for Data-Centric Artificial Intelligence in Construction Monitoring [4.795391174842949]
建設業界は、サイト監視のための人工知能(AI)と機械学習(ML)アプリケーションをサポートするために、視覚データにますます依存している。
ビジュアルデータセットへの関心が高まりつつあるにもかかわらず、既存のリソースは、実世界の建設条件のサイズ、品質、代表性に大きく変化している。
本研究では,これらの知見をオープンソースカタログであるOpenConstructionに合成し,データ駆動型手法開発を支援する。
論文 参考訳(メタデータ) (2025-08-15T13:56:21Z) - Vision Language Action Models in Robotic Manipulation: A Systematic Review [1.1767330101986737]
ビジョン言語アクション(VLA)モデルは、ロボット工学の変革的なシフトを表す。
本稿では,VLAパラダイムの包括的で先進的な合成について述べる。
102のVLAモデル、26の基盤データセット、12のシミュレーションプラットフォームを分析します。
論文 参考訳(メタデータ) (2025-07-14T18:00:34Z) - Spatial Understanding from Videos: Structured Prompts Meet Simulation Data [89.77871049500546]
本稿では,事前学習された視覚言語モデルにおける3次元空間推論を,アーキテクチャを変更することなく拡張するための統一的なフレームワークを提案する。
このフレームワークは、複雑なシーンと質問を解釈可能な推論ステップに分解する構造化プロンプト戦略であるSpatialMindと、多様な3Dシミュレーションシーンから構築されたスケーラブルな質問応答データセットであるScanForgeQAを組み合わせる。
論文 参考訳(メタデータ) (2025-06-04T07:36:33Z) - Empowering Time Series Analysis with Synthetic Data: A Survey and Outlook in the Era of Foundation Models [104.17057231661371]
時系列解析は複雑なシステムの力学を理解するために重要である。
基本モデルの最近の進歩はタスク非依存の時系列基礎モデル (TSFM) と大規模言語モデルベース時系列モデル (TSLLM) につながっている。
彼らの成功は、規制、多様性、品質、量制約のために構築が困難である、大規模で多様で高品質なデータセットに依存する。
本調査では,TSFMとTLLLMの合成データの総合的なレビュー,データ生成戦略の分析,モデル事前学習におけるそれらの役割,微調整,評価,今後の研究方向性の特定について述べる。
論文 参考訳(メタデータ) (2025-03-14T13:53:46Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳(メタデータ) (2022-08-16T20:46:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。