論文の概要: SA-Occ: Satellite-Assisted 3D Occupancy Prediction in Real World
- arxiv url: http://arxiv.org/abs/2503.16399v1
- Date: Thu, 20 Mar 2025 17:54:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-21 15:30:52.54313
- Title: SA-Occ: Satellite-Assisted 3D Occupancy Prediction in Real World
- Title（参考訳）: SA-Occ:衛星による実世界の3D活動予測
- Authors: Chen Chen, Zhirui Wang, Taowei Sheng, Yi Jiang, Yundu Li, Peirui Cheng, Luning Zhang, Kaiqiang Chen, Yanfeng Hu, Xue Yang, Xian Sun,
- Abstract要約: 衛星支援型3次元占有予測モデルSA-Occを提案する。
歴史的だが容易に利用できる衛星画像とリアルタイムの応用を統合している。
最先端のパフォーマンス、特に単一フレームのメソッドで実現します。
- 参考スコア（独自算出の注目度）: 19.190830406660826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing vision-based 3D occupancy prediction methods are inherently limited in accuracy due to their exclusive reliance on street-view imagery, neglecting the potential benefits of incorporating satellite views. We propose SA-Occ, the first Satellite-Assisted 3D occupancy prediction model, which leverages GPS & IMU to integrate historical yet readily available satellite imagery into real-time applications, effectively mitigating limitations of ego-vehicle perceptions, involving occlusions and degraded performance in distant regions. To address the core challenges of cross-view perception, we propose: 1) Dynamic-Decoupling Fusion, which resolves inconsistencies in dynamic regions caused by the temporal asynchrony between satellite and street views; 2) 3D-Proj Guidance, a module that enhances 3D feature extraction from inherently 2D satellite imagery; and 3) Uniform Sampling Alignment, which aligns the sampling density between street and satellite views. Evaluated on Occ3D-nuScenes, SA-Occ achieves state-of-the-art performance, especially among single-frame methods, with a 39.05% mIoU (a 6.97% improvement), while incurring only 6.93 ms of additional latency per frame. Our code and newly curated dataset are available at https://github.com/chenchen235/SA-Occ.
- Abstract（参考訳）: 既存の視覚に基づく3D占有予測手法は、衛星ビューを組み込むことによる潜在的な利点を無視した、ストリートビュー画像への排他的依存のため、本質的に正確性に制限されている。
そこで我々は,GPSとIMUを応用して,衛星画像のリアルタイム化を実現し,遠隔地における閉塞や劣化性能など,エゴ車両知覚の限界を効果的に緩和する,最初の衛星支援型3D占有予測モデルSA-Occを提案する。
クロスビュー知覚の中核的な課題に対処するために、我々は以下のことを提案する。
1)衛星とストリートビューの時間的同期に起因する動的領域の不整合を解消する動的デカップリング融合
2)3D-Proj Guidanceは、固有の2D衛星画像から3D特徴抽出を強化するモジュールである。
3) ストリートビューと衛星ビューのサンプリング密度を整合させる一様サンプリングアライメント
Occ3D-nuSceneで評価されたSA-Occは、特にシングルフレーム方式では、39.05% mIoU (6.97%の改善)で、フレーム当たり6.93ミリ秒の追加遅延しか発生しない。
私たちのコードと新しくキュレートされたデータセットはhttps://github.com/chenchen235/SA-Occ.orgで公開されています。
関連論文リスト
- EarthMapper: Visual Autoregressive Models for Controllable Bidirectional Satellite-Map Translation [50.433911327489554]
制御可能な衛星マップ翻訳のための新しいフレームワークであるEarthMapperを紹介する。
また,中国38都市を対象とした302,132組の衛星マップからなる大規模データセットであるCNSatMapをコントリビュートした。
CNSatMapとNew Yorkデータセットの実験は、EarthMapperの優れたパフォーマンスを実証している。
論文 参考訳（メタデータ） (2025-04-28T02:41:12Z) - S3MOT: Monocular 3D Object Tracking with Selective State Space Model [3.5047603107971397]
3次元空間における多物体追跡は、ロボット工学とコンピュータ応用の進歩に不可欠である。
2Dビデオストリームからの3Dアソシエーションのマイニングが難しいため、モノラルなセットアップでは依然として大きな課題である。
モノクローナル3次元MOTのための不均一なキューの融合を促進するための3つの革新的な技術を提案する。
論文 参考訳（メタデータ） (2025-04-25T04:45:35Z) - EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。
本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
論文 参考訳（メタデータ） (2025-03-26T02:47:27Z) - SGFormer: Satellite-Ground Fusion for 3D Semantic Scene Completion [38.85690940616852]
本稿では,SGFormer という衛星地上協調型 SSC フレームワークについて述べる。
衛星と地上のビューを並列に符号化し、それらを共通領域に統一するデュアルブランチアーキテクチャを提案する。
衛星と地上からのコントリビューションのバランスをとるための適応重み付け戦略を開発する。
論文 参考訳（メタデータ） (2025-03-21T03:37:08Z) - Griffin: Aerial-Ground Cooperative Detection and Tracking Dataset and Benchmark [15.405137983083875]
航空と地上の協力は、UAVの空中視界と地上の車両の局部的な観測を統合することで、有望な解決策を提供する。
本稿では,3つの重要な貢献を通じて,地上3次元協調認識のための包括的ソリューションを提案する。
論文 参考訳（メタデータ） (2025-03-10T07:00:07Z) - SatSplatYOLO: 3D Gaussian Splatting-based Virtual Object Detection Ensembles for Satellite Feature Recognition [0.0]
本研究では、軌道上の未知の非協力衛星の成分のマッピングと高信頼度検出のためのアプローチを提案する。
我々は、衛星の3次元表現を学習し、ターゲットの仮想ビューをレンダリングし、仮想ビュー上でYOLOv5オブジェクト検出器をアンサンブルするために、加速3次元ガウススプラッティングを実装した。
論文 参考訳（メタデータ） (2024-06-04T17:54:20Z) - Reconstructing Satellites in 3D from Amateur Telescope Images [44.20773507571372]
本稿では,ハイブリッド画像前処理パイプラインを統合することで,障害を克服する新しい計算イメージングフレームワークを提案する。
我々は,中国の江東宇宙ステーションと国際宇宙ステーションの合成衛星データセットとオンスキー観測の両方にアプローチを検証した。
我々のフレームワークは地球からの高忠実度3D衛星監視を可能にし、宇宙状況認識のためのコスト効率の良い代替手段を提供する。
論文 参考訳（メタデータ） (2024-04-29T03:13:09Z) - Advancing Applications of Satellite Photogrammetry: Novel Approaches for Built-up Area Modeling and Natural Environment Monitoring using Stereo/Multi-view Satellite Image-derived 3D Data [0.0]
この論文は、ステレオおよびマルチビュー衛星画像から得られた3次元地理空間データに基づく、いくつかの新しいアプローチを探求する。
衛星由来の3Dデータによる空間的・時間的課題に対処する新しいアプローチの4つの部分を紹介する。
概して、この論文は、都市や環境問題に対処する衛星フォトグラムの応用の可能性を示している。
論文 参考訳（メタデータ） (2024-04-18T20:02:52Z) - Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。
具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。
2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
論文 参考訳（メタデータ） (2024-01-19T16:15:37Z) - Characterizing Satellite Geometry via Accelerated 3D Gaussian Splatting [0.0]
本稿では,3次元ガウス散乱に基づく軌道上の衛星のマッピング手法を提案する。
ループ型衛星モックアップにおけるモデルトレーニングと3次元レンダリング性能を実演する。
我々のモデルでは、未知の衛星の高品質な新しいビューを、従来のNeRFベースのアルゴリズムよりも2桁近く高速にトレーニングし、レンダリングすることが可能であることが示されている。
論文 参考訳（メタデータ） (2024-01-05T00:49:56Z) - Uncertainty-aware State Space Transformer for Egocentric 3D Hand
Trajectory Forecasting [79.34357055254239]
ハンドトラジェクトリ予測は、AR/VRシステムと対話する際の人間の意図の迅速な理解を可能にするために不可欠である。
既存の方法では、現実の3Dアプリケーションでは不十分な2次元画像空間でこの問題に対処する。
初対人視点で観察されたRGBビデオから3次元空間のハンドトラジェクトリを予測することを目的とした,エゴセントリックな3Dハンドトラジェクトリ予測タスクを構築した。
論文 参考訳（メタデータ） (2023-07-17T04:55:02Z) - Semantic Scene Completion with Cleaner Self [93.99441599791275]
セマンティックシーンコンプリート(SSC)は、単一のビュー深さと/またはRGB 2Dピクセルの画像を3Dボクセルに変換し、それぞれのセマンティックラベルが予測される。
SSCは、予測モデルが目に見える表面の背後にあるものを「想像する」必要があるため、よく知られた偽装問題であり、通常はTrncated Signed Distance Function (TSDF) によって表される。
我々は3Dボクセルを用いて、TSDF-CADと呼ばれる完全な可視表面を生成し、次に「クリーン」なSSCモデルを訓練する。
モデルはノイズフリーなので、期待できる。
論文 参考訳（メタデータ） (2023-03-17T13:50:18Z) - Satellite Image Based Cross-view Localization for Autonomous Vehicle [59.72040418584396]
本稿では,市販の高精細衛星画像を使用可能な地図として利用することにより,良好な精度でクロスビュー車両のローカライゼーションを実現することができることを示す。
本手法はKITTIとFord Multi-AVの季節データセットを地上ビューとして,Google Mapsを衛星ビューとして検証した。
論文 参考訳（メタデータ） (2022-07-27T13:16:39Z) - Mosaic Zonotope Shadow Matching for Risk-Aware Autonomous Localization
in Harsh Urban Environments [0.966840768820136]
グローバルナビゲーション衛星システム(GNSS)によるリスク対応都市ローカライゼーションは未解決の問題である。
分類器に依存しないポリトープモザイクアーキテクチャを用いたモザイクゾノトープシャドウマッチング(MZSM)を提案する。
サンフランシスコの3Dビルディングマップを用いて高忠実度シミュレーションを行い、アルゴリズムのリスク認識の改善を検証する。
論文 参考訳（メタデータ） (2022-04-30T21:01:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。