論文の概要: RAP: 3D Rasterization Augmented End-to-End Planning
- arxiv url: http://arxiv.org/abs/2510.04333v1
- Date: Sun, 05 Oct 2025 19:31:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:59.589911
- Title: RAP: 3D Rasterization Augmented End-to-End Planning
- Title(参考訳): RAP:3Dラスタ化でエンド・ツー・エンドプランを拡大
- Authors: Lan Feng, Yang Gao, Eloi Zablocki, Quanyi Li, Wuyang Li, Sichao Liu, Matthieu Cord, Alexandre Alahi,
- Abstract要約: エンド・ツー・エンドの列車政策の模擬学習は、専門家によるデモンストレーションでのみ行われる。
アノテーション付きプリミティブの軽量化により、コストのかかるレンダリングを置き換える3Dラスタライゼーションを提案する。
RAPは最先端のクローズドループとロングテールロバスト性を実現し、4つの主要なベンチマークで第1位となった。
- 参考スコア(独自算出の注目度): 104.52778241744522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Imitation learning for end-to-end driving trains policies only on expert demonstrations. Once deployed in a closed loop, such policies lack recovery data: small mistakes cannot be corrected and quickly compound into failures. A promising direction is to generate alternative viewpoints and trajectories beyond the logged path. Prior work explores photorealistic digital twins via neural rendering or game engines, but these methods are prohibitively slow and costly, and thus mainly used for evaluation. In this work, we argue that photorealism is unnecessary for training end-to-end planners. What matters is semantic fidelity and scalability: driving depends on geometry and dynamics, not textures or lighting. Motivated by this, we propose 3D Rasterization, which replaces costly rendering with lightweight rasterization of annotated primitives, enabling augmentations such as counterfactual recovery maneuvers and cross-agent view synthesis. To transfer these synthetic views effectively to real-world deployment, we introduce a Raster-to-Real feature-space alignment that bridges the sim-to-real gap. Together, these components form Rasterization Augmented Planning (RAP), a scalable data augmentation pipeline for planning. RAP achieves state-of-the-art closed-loop robustness and long-tail generalization, ranking first on four major benchmarks: NAVSIM v1/v2, Waymo Open Dataset Vision-based E2E Driving, and Bench2Drive. Our results show that lightweight rasterization with feature alignment suffices to scale E2E training, offering a practical alternative to photorealistic rendering. Project page: https://alan-lanfeng.github.io/RAP/.
- Abstract(参考訳): エンド・ツー・エンドの列車政策の模擬学習は、専門家によるデモンストレーションでのみ行われる。
クローズドループにデプロイされると、そのようなポリシにはリカバリデータがない。
有望な方向は、ログされたパスを越えて、代替の視点と軌道を生成することである。
以前の研究では、ニューラルレンダリングやゲームエンジンを通じて、フォトリアリスティックなデジタル双生児を探索していたが、これらの手法は明らかに遅くてコストがかかるため、主に評価に使用される。
本研究では、エンド・ツー・エンド・プランナーの育成に光リアリズムは不要であると主張する。
運転はテクスチャや照明ではなく、幾何学や力学に依存します。
そこで本研究では,アノテーション付きプリミティブの軽量ラスタ化に代えて3Dラスタ化を提案する。
これらの合成ビューを実世界の展開に効果的に転送するために,シミュレート・トゥ・リアルギャップを橋渡しするRaster-to-Real機能空間アライメントを導入する。
これらのコンポーネントは共に、計画のためのスケーラブルなデータ拡張パイプラインであるRasterization Augmented Planning(RAP)を形成する。
RAPは最先端のクローズドループロバスト性とロングテールの一般化を実現し、NAVSIM v1/v2、Waymo Open Dataset VisionベースのE2E Driving、Bench2Driveの4つの主要なベンチマークでランクインしている。
以上の結果から,機能アライメントによる軽量ラスタライゼーションはE2Eトレーニングをスケールするのに十分であり,フォトリアリスティックレンダリングの実用的な代替手段であることがわかった。
プロジェクトページ: https://alan-lanfeng.github.io/RAP/。
関連論文リスト
- EAG-PT: Emission-Aware Gaussians and Path Tracing for Indoor Scene Reconstruction and Editing [63.64931392651423]
本研究では,2次元ガウス表現を統一した物理的光輸送を目的としたElectron-Aware Gaussian and Path Tracing (EAG-PT)を提案する。
本設計は,(1)再構成メッシュを回避する統一的なシーン表現と移動に適した幾何プロキシとして2次元ガウシアンを用い,(2)さらなるシーン編集のために再構成中の許容成分と非許容成分を明示的に分離し,(3)効率的なシングルバウンス最適化と高品質なマルチバウンスパストレースを用いて最終レンダリングから再構成を分離する,という3つのコアに基づいている。
論文 参考訳(メタデータ) (2026-01-30T15:16:37Z) - A Generalizable Light Transport 3D Embedding for Global Illumination [30.088406137167997]
本稿では,3次元シーン構成から直接グローバル照明を近似する一般化可能な3次元光輸送埋め込みを提案する。
スケーラブルトランスフォーマーは、グローバルなポイントツーポイントインタラクションをモデル化して、これらの機能をニューラルプリミティブにエンコードする。
様々なレイアウト, 形状, 材料を有する屋内の様々なシーンにまたがって, グローバル照明の拡散予測結果を示す。
論文 参考訳(メタデータ) (2025-10-21T00:29:09Z) - GSFF-SLAM: 3D Semantic Gaussian Splatting SLAM via Feature Field [17.57215792490409]
GSFF-SLAMは3次元ガウススプラッティングに基づく新しい意味論的SLAMシステムである。
提案手法は, 様々な2次元先行情報, 特にスパース信号と雑音信号を用いた意味的再構成を支援する。
2D基底真理を利用する場合、GSFF-SLAMは95.03% mIoUで最先端のセマンティックセグメンテーション性能を達成する。
論文 参考訳(メタデータ) (2025-04-28T01:21:35Z) - Drive-1-to-3: Enriching Diffusion Priors for Novel View Synthesis of Real Vehicles [81.29018359825872]
本稿では,実世界の課題に対して,大規模な事前学習モデルを微調整するための一連の優れたプラクティスを統合する。
具体的には,合成データと実運転データとの相違を考慮に入れたいくつかの戦略を開発する。
我々の洞察は、先行芸術よりも新しいビュー合成のためのFIDを68.8%値下げする効果のある微調整につながる。
論文 参考訳(メタデータ) (2024-12-19T03:39:13Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳(メタデータ) (2023-11-26T02:35:09Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳(メタデータ) (2021-10-29T10:53:12Z) - Recovering and Simulating Pedestrians in the Wild [81.38135735146015]
本研究では,自動車の走行によって野生で捕獲されたセンサから歩行者の形状と動きを復元することを提案する。
再建された歩行者資産銀行をリアルな3Dシミュレーションシステムに組み込む。
シミュレーションしたLiDARデータを用いて,視覚知覚タスクに必要な実世界のデータ量を大幅に削減できることを示す。
論文 参考訳(メタデータ) (2020-11-16T17:16:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。