論文の概要: PixelPilot: Scalable Vision-Language-Action Models for End-to-End Autonomous Driving

• arxiv url: http://arxiv.org/abs/2607.04637v1
• Date: Mon, 06 Jul 2026 03:40:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.030137
• Title: PixelPilot: Scalable Vision-Language-Action Models for End-to-End Autonomous Driving
• Title（参考訳）: PixelPilot: エンドツーエンド自動運転のためのスケーラブルなビジョンランゲージ・アクションモデル
• Abstract要約: VLA(Vision-Language-Action Models)は、複雑な自律運転シナリオにおいて有望な一般化を示す。 VLAは通常、2D画像から3D軌跡を予測し、最適化する。 分割計画とリフトのパラダイムを特徴とする新しいVLAであるPixelPilotを提案する。
• 参考スコア（独自算出の注目度）: 19.811606655441775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action Models (VLAs), which leverage the advanced reasoning capabilities of Vision-Language Models (VLMs), show promising generalization in complex autonomous driving scenarios. Existing VLAs typically predict and optimize 3D trajectories from 2D images. While intuitive, this 2D-to-3D prediction is inherently entangled with camera parameters, leading to limited data scalability across heterogeneous driving datasets. Moreover, directly optimizing in 3D space induces severe convergence to trivial solutions, where VLAs rely on ego-status rather than visual scene understanding. To address these issues, we propose PixelPilot, a novel VLA featuring a decoupled planning and lifting paradigm. In the planning phase, PixelPilot reformulates scene understanding and trajectory prediction as sensor-agnostic 2D-to-2D tasks in the image plane, thereby facilitating scalable training across diverse datasets. The planned 2D trajectories are then deterministically lifted to 3D only during inference, ensuring the full exploitation of visual cues and generalization across different vehicles. To realize this paradigm, we propose a knowledge-instilled policy learning strategy that applies dense, intermediate rewards via Group Relative Policy Optimization (GRPO) to enforce a rigorous causal chain from visual perception to spatial planning. Extensive experiments demonstrate that PixelPilot achieves state-of-the-art performance in both open-loop and closed-loop settings, validating its superior scalability and visual reasoning capabilities.
• Abstract（参考訳）: Vision-Language-Action Models (VLA) は、VLM(Vision-Language Models)の高度な推論能力を活用し、複雑な自律運転シナリオにおいて有望な一般化を示す。 既存のVLAは2次元画像から3次元軌跡を予測し、最適化するのが一般的である。 直感的ではあるが、この2Dから3Dの予測は本質的にカメラパラメータと絡み合っており、不均一な運転データセット間でのデータスケーラビリティが制限される。 さらに、3D空間での直接最適化は、VLAが視覚的なシーン理解よりもエゴ統計に依存するような、自明な解への厳密な収束を誘導する。 これらの問題に対処するため,PixelPilotを提案する。 計画段階では、PixelPilotはイメージプレーン内のセンサーに依存しない2D-to-2Dタスクとしてシーン理解と軌道予測を再構成し、多様なデータセットをまたいだスケーラブルなトレーニングを容易にする。 計画された2D軌道は推論中にのみ決定的に3Dに引き上げられ、視覚的手がかりの完全な活用と異なる車両への一般化が保証される。 このパラダイムを実現するために,グループ相対的政策最適化(GRPO)を用いて,視覚知覚から空間計画まで厳密な因果関係を強制する知識注入型政策学習戦略を提案する。 大規模な実験では、PixelPilotがオープンループとクローズループの両方で最先端のパフォーマンスを実現し、優れたスケーラビリティと視覚的推論能力を検証している。

関連論文リスト

• Lift3D-VLA: Lifting VLA Models to 3D Geometry and Dynamics-Aware Manipulation [76.16065370700488]
  We introduced Lift3D-VLA, a unified VLA framework that equips models with explicit 3D point cloud reasoning and possible temporally coherent action generation。 我々は,Lift3D-VLAがMetaWorldとRLBenchの平均成功率を10.8%,11.1%向上したことを示す。
  論文  参考訳（メタデータ） (2026-07-07T17:59:47Z)
• Dexterity-BEV: Aligning 3D World and Actions for Generalizable Robot Policies Learning [51.799524981291235]
  エンドツーエンドの操作ポリシーは、汎用的で巧妙なロボット操作を約束することを示している。 2Dファンデーションモデルから2つの重要な制限を継承する。 これらの問題に対処するために、一連のコントリビューションを提示します。
  論文  参考訳（メタデータ） (2026-06-01T14:01:11Z)
• PointACT: Vision-Language-Action Models with Multi-Scale Point-Action Interaction [57.63073414949329]
  我々は,階層的な3Dポイントクラウド表現をアクションデコーディングプロセスに直接統合する,デュアルシステム3D対応VLAポリシーであるPointACTを提案する。 PointACTは、効率的なボトルネックウィンドウ自己アテンションを備えたマルチスケールのポイントアクションインタラクション機構を採用し、進化するアクショントークンが局所的な幾何学的詳細とグローバルなシーン構造の両方に密に関与できるようにする。
  論文  参考訳（メタデータ） (2026-05-20T17:10:31Z)
• DVGT-2: Vision-Geometry-Action Model for Autonomous Driving at Scale [63.05446464787182]
  本稿では,高密度な3次元形状を自律運転のクリティカルキューとして提唱するビジョン・ジオメトリ・アクションのパラダイムを提案する。 本稿では,DVGT-2(Stream Driving Visual Geometry Transformer)を導入し,入力をオンラインに処理し,現行のフレームに対して高密度なジオメトリとトラジェクトリプランニングを共同で出力する。 高速にもかかわらず、DVGT-2は様々なデータセット上で優れた幾何再構成性能を達成する。
  論文  参考訳（メタデータ） (2026-04-01T12:21:26Z)
• AugVLA-3D: Depth-Driven Feature Augmentation for Vision-Language-Action Models [42.57469056850227]
  VLA(Vision-Language-Action)モデルは最近、ロボットの知覚と制御において顕著な進歩を遂げている。 深度推定をVLAモデルに統合し,3次元特徴表現を充実させる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-11T09:57:32Z)
• D3D-VLP: Dynamic 3D Vision-Language-Planning Model for Embodied Grounding and Navigation [66.7166217399105]
  エージェントは、エンドツーエンドモデルには解釈可能性や明示的な3D推論が欠けているという、重要なジレンマに直面します。 1) 計画,グラウンド,ナビゲーション,質問応答を単一の3D-VLMパイプラインとCoTパイプラインで統一する動的3Dチェーン(3D CoT) ; 2) フラグメンテッド・スーパービジョン(SLFS)戦略からのシナジスティック学習 マスク付き自己回帰損失を用いて,大規模かつ部分的に注釈付けされたハイブリッドデータから学習する。
  論文  参考訳（メタデータ） (2025-12-14T09:53:15Z)
• LargeAD: Large-Scale Cross-Sensor Data Pretraining for Autonomous Driving [88.85002707211777]
  LargeADは多用途でスケーラブルなフレームワークで、さまざまな現実世界の運転データセットにわたる大規模3D事前トレーニング用に設計されている。 我々のフレームワークはVFMを利用して2次元画像から意味的にリッチなスーパーピクセルを抽出する。 このアライメントは、クロスモーダルな表現学習を促進し、2Dデータと3Dデータのセマンティック一貫性を高める。
  論文  参考訳（メタデータ） (2025-01-07T18:59:59Z)
• Semi-supervised 3D Semantic Scene Completion with 2D Vision Foundation Model Guidance [8.07701188057789]
  我々は、高密度な注釈付きデータへの依存を軽減するために、新しい半教師付きフレームワークを導入する。 提案手法は2次元基礎モデルを用いて3次元シーンの幾何学的・意味的手がかりを生成する。 本手法は,10%のラベル付きデータを用いて全教師付き性能の最大85%を達成する。
  論文  参考訳（メタデータ） (2024-08-21T12:13:18Z)
• VPOcc: Exploiting Vanishing Point for 3D Semantic Occupancy Prediction [24.947072696837118]
  3Dシーンを意味的かつ空間的に理解することは、ロボットや自動運転車の安全なナビゲーションに不可欠である。 カメラベースの3Dセマンティック占有予測は、2D画像から完全なボクセルグリッドを推定する。 このタスクは本質的に2D-3Dの相違に悩まされ、カメラからの距離に応じて3D空間で同じ大きさの物体が異なる大きさの2D画像に現れる。 本稿では,2D-3Dの相違を画素レベルと特徴レベルの両方で緩和するために,消失点(VP)を利用するVPOccという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-07T05:23:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。