論文の概要: SA-Occ: Satellite-Assisted 3D Occupancy Prediction in Real World
- arxiv url: http://arxiv.org/abs/2503.16399v1
- Date: Thu, 20 Mar 2025 17:54:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-21 16:35:35.926282
- Title: SA-Occ: Satellite-Assisted 3D Occupancy Prediction in Real World
- Title（参考訳）: SA-Occ:衛星による実世界の3D活動予測
- Authors: Chen Chen, Zhirui Wang, Taowei Sheng, Yi Jiang, Yundu Li, Peirui Cheng, Luning Zhang, Kaiqiang Chen, Yanfeng Hu, Xue Yang, Xian Sun,
- Abstract要約: 衛星支援型3次元占有予測モデルSA-Occを提案する。
歴史的だが容易に利用できる衛星画像とリアルタイムの応用を統合している。
最先端のパフォーマンス、特に単一フレームのメソッドで実現します。
- 参考スコア（独自算出の注目度）: 19.190830406660826
- License:
- Abstract: Existing vision-based 3D occupancy prediction methods are inherently limited in accuracy due to their exclusive reliance on street-view imagery, neglecting the potential benefits of incorporating satellite views. We propose SA-Occ, the first Satellite-Assisted 3D occupancy prediction model, which leverages GPS & IMU to integrate historical yet readily available satellite imagery into real-time applications, effectively mitigating limitations of ego-vehicle perceptions, involving occlusions and degraded performance in distant regions. To address the core challenges of cross-view perception, we propose: 1) Dynamic-Decoupling Fusion, which resolves inconsistencies in dynamic regions caused by the temporal asynchrony between satellite and street views; 2) 3D-Proj Guidance, a module that enhances 3D feature extraction from inherently 2D satellite imagery; and 3) Uniform Sampling Alignment, which aligns the sampling density between street and satellite views. Evaluated on Occ3D-nuScenes, SA-Occ achieves state-of-the-art performance, especially among single-frame methods, with a 39.05% mIoU (a 6.97% improvement), while incurring only 6.93 ms of additional latency per frame. Our code and newly curated dataset are available at https://github.com/chenchen235/SA-Occ.
- Abstract（参考訳）: 既存の視覚に基づく3D占有予測手法は、衛星ビューを組み込むことによる潜在的な利点を無視した、ストリートビュー画像への排他的依存のため、本質的に正確性に制限されている。
そこで我々は,GPSとIMUを応用して,衛星画像のリアルタイム化を実現し,遠隔地における閉塞や劣化性能など,エゴ車両知覚の限界を効果的に緩和する,最初の衛星支援型3D占有予測モデルSA-Occを提案する。
クロスビュー知覚の中核的な課題に対処するために、我々は以下のことを提案する。
1)衛星とストリートビューの時間的同期に起因する動的領域の不整合を解消する動的デカップリング融合
2)3D-Proj Guidanceは、固有の2D衛星画像から3D特徴抽出を強化するモジュールである。
3) ストリートビューと衛星ビューのサンプリング密度を整合させる一様サンプリングアライメント
Occ3D-nuSceneで評価されたSA-Occは、特にシングルフレーム方式では、39.05% mIoU (6.97%の改善)で、フレーム当たり6.93ミリ秒の追加遅延しか発生しない。
私たちのコードと新しくキュレートされたデータセットはhttps://github.com/chenchen235/SA-Occ.orgで公開されています。
関連論文リスト
- YO-CSA-T: A Real-time Badminton Tracking System Utilizing YOLO Based on Contextual and Spatial Attention [0.0]
YO-CSAは、3Dシャトルコックのリアルタイム軌道検出システムである。
YO-CSAによって抽出された2次元座標列を立体視を用いて3次元空間にマッピングする。
精度は90.43% mAP@0.75で、YOLOv8sとYOLO11sを上回ります。
論文 参考訳（メタデータ） (2025-01-11T08:00:25Z) - SatSplatYOLO: 3D Gaussian Splatting-based Virtual Object Detection Ensembles for Satellite Feature Recognition [0.0]
本研究では、軌道上の未知の非協力衛星の成分のマッピングと高信頼度検出のためのアプローチを提案する。
我々は、衛星の3次元表現を学習し、ターゲットの仮想ビューをレンダリングし、仮想ビュー上でYOLOv5オブジェクト検出器をアンサンブルするために、加速3次元ガウススプラッティングを実装した。
論文 参考訳（メタデータ） (2024-06-04T17:54:20Z) - Advancing Applications of Satellite Photogrammetry: Novel Approaches for Built-up Area Modeling and Natural Environment Monitoring using Stereo/Multi-view Satellite Image-derived 3D Data [0.0]
この論文は、ステレオおよびマルチビュー衛星画像から得られた3次元地理空間データに基づく、いくつかの新しいアプローチを探求する。
衛星由来の3Dデータによる空間的・時間的課題に対処する新しいアプローチの4つの部分を紹介する。
概して、この論文は、都市や環境問題に対処する衛星フォトグラムの応用の可能性を示している。
論文 参考訳（メタデータ） (2024-04-18T20:02:52Z) - Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。
具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。
2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
論文 参考訳（メタデータ） (2024-01-19T16:15:37Z) - Characterizing Satellite Geometry via Accelerated 3D Gaussian Splatting [0.0]
本稿では,3次元ガウス散乱に基づく軌道上の衛星のマッピング手法を提案する。
ループ型衛星モックアップにおけるモデルトレーニングと3次元レンダリング性能を実演する。
我々のモデルでは、未知の衛星の高品質な新しいビューを、従来のNeRFベースのアルゴリズムよりも2桁近く高速にトレーニングし、レンダリングすることが可能であることが示されている。
論文 参考訳（メタデータ） (2024-01-05T00:49:56Z) - Uncertainty-aware State Space Transformer for Egocentric 3D Hand
Trajectory Forecasting [79.34357055254239]
ハンドトラジェクトリ予測は、AR/VRシステムと対話する際の人間の意図の迅速な理解を可能にするために不可欠である。
既存の方法では、現実の3Dアプリケーションでは不十分な2次元画像空間でこの問題に対処する。
初対人視点で観察されたRGBビデオから3次元空間のハンドトラジェクトリを予測することを目的とした,エゴセントリックな3Dハンドトラジェクトリ予測タスクを構築した。
論文 参考訳（メタデータ） (2023-07-17T04:55:02Z) - Semantic Scene Completion with Cleaner Self [93.99441599791275]
セマンティックシーンコンプリート(SSC)は、単一のビュー深さと/またはRGB 2Dピクセルの画像を3Dボクセルに変換し、それぞれのセマンティックラベルが予測される。
SSCは、予測モデルが目に見える表面の背後にあるものを「想像する」必要があるため、よく知られた偽装問題であり、通常はTrncated Signed Distance Function (TSDF) によって表される。
我々は3Dボクセルを用いて、TSDF-CADと呼ばれる完全な可視表面を生成し、次に「クリーン」なSSCモデルを訓練する。
モデルはノイズフリーなので、期待できる。
論文 参考訳（メタデータ） (2023-03-17T13:50:18Z) - Satellite Image Based Cross-view Localization for Autonomous Vehicle [59.72040418584396]
本稿では,市販の高精細衛星画像を使用可能な地図として利用することにより,良好な精度でクロスビュー車両のローカライゼーションを実現することができることを示す。
本手法はKITTIとFord Multi-AVの季節データセットを地上ビューとして,Google Mapsを衛星ビューとして検証した。
論文 参考訳（メタデータ） (2022-07-27T13:16:39Z) - Mosaic Zonotope Shadow Matching for Risk-Aware Autonomous Localization
in Harsh Urban Environments [0.966840768820136]
グローバルナビゲーション衛星システム(GNSS)によるリスク対応都市ローカライゼーションは未解決の問題である。
分類器に依存しないポリトープモザイクアーキテクチャを用いたモザイクゾノトープシャドウマッチング(MZSM)を提案する。
サンフランシスコの3Dビルディングマップを用いて高忠実度シミュレーションを行い、アルゴリズムのリスク認識の改善を検証する。
論文 参考訳（メタデータ） (2022-04-30T21:01:03Z) - Occupancy Anticipation for Efficient Exploration and Navigation [97.17517060585875]
そこで我々は,エージェントが自我中心のRGB-D観測を用いて,その占有状態を可視領域を超えて推定する,占有予測を提案する。
エゴセントリックなビューとトップダウンマップの両方でコンテキストを活用することで、私たちのモデルは環境のより広いマップを予測できます。
われわれのアプローチは、2020 Habitat PointNav Challengeの優勝だ。
論文 参考訳（メタデータ） (2020-08-21T03:16:51Z) - InfoFocus: 3D Object Detection for Autonomous Driving with Dynamic
Information Modeling [65.47126868838836]
動的情報モデリングを用いた新しい3次元オブジェクト検出フレームワークを提案する。
粗い予測は、ボクセルベースの領域提案ネットワークを介して第1段階で生成される。
大規模なnuScenes 3D検出ベンチマークで実験を行った。
論文 参考訳（メタデータ） (2020-07-16T18:27:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。