論文の概要: InterOCF: Spatio-Temporal 2D-3D Interaction for Camera-Only 4D Occupancy Forecasting
- arxiv url: http://arxiv.org/abs/2607.24431v1
- Date: Mon, 27 Jul 2026 13:43:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.444527
- Title: InterOCF: Spatio-Temporal 2D-3D Interaction for Camera-Only 4D Occupancy Forecasting
- Title（参考訳）: InterOCF: カメラオンリー4D作業予測のための時空間2D-3Dインタラクション
- Abstract要約: カメラのみの4D占有予測により、自動運転車は歴史的多視点画像のみから将来の3Dセマンティックシーンを予測できる。
我々は,3次元ボクセル表現と多視点セグメンテーションシーケンスの両方において,時間的ダイナミクスを共同でモデル化する4次元占有予測のための新しいフレームワークであるInterOCFを紹介した。
1) 歴史的ボクセル状態から体積力学を学習し,将来のボクセル状態を予測する3次元時空間(3DST)モジュール,2) 補助的多視点時間分割予測を用いた2次元時空間(2DST)モジュール。
- 参考スコア（独自算出の注目度）: 14.13719947869133
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Camera-only 4D occupancy forecasting enables autonomous vehicles to predict future 3D semantic scenes solely from historical multi-view images, which is critical for driving safety. Even though current methods have achieved good performance, the strong spatial-temporal modeling between the input multi-view frames is still underexplored, which limits the performance of those methods in future 4D forecasting. To address this gap, we introduce a novel framework, InterOCF, for 4D occupancy forecasting that jointly models temporal dynamics in both 3D voxel-based representations and multi-view segmentation sequences, while explicitly incorporating feature interaction between the 2D and 3D branches. Our framework incorporates three core components: 1) A 3D Spatio-Temporal (3DST) module that learns volumetric dynamics from historical voxel states to predict future voxel states; 2) A 2D Spatio-Temporal (2DST) module employing an auxiliary multi-view temporal segmentation forecasting task to enhance temporal semantic dynamics; 3) A Spatio-Temporal Interaction Modeling (STIM) module that enables feature interaction between 2D and 3D representations. Experiments on the nuScenes, Lyft-Level5, and nuScenes-Occupancy datasets show that InterOCF consistently outperforms existing baseline approaches.
- Abstract（参考訳）: カメラのみの4D占有率予測により、自動運転車は未来の3Dセマンティックシーンを、歴史的多視点画像のみから予測することができる。
現在の手法は優れた性能を示したが、入力された多視点フレーム間の強い時空間モデリングはまだ未探索であり、将来の4次元予測におけるそれらの手法の性能を制限している。
このギャップに対処するために,我々は,3次元ボクセル表現と多視点セグメンテーションシーケンスの両方において時間的ダイナミクスを協調的にモデル化する4次元占有予測のための新しいフレームワークであるInterOCFを導入するとともに,2次元ブランチと3次元ブランチ間の特徴的相互作用を明示的に取り入れた。
私たちのフレームワークには3つのコアコンポーネントが組み込まれています。
1) 歴史的ボクセル状態から体積力学を学習し,将来のボクセル状態を予測する3次元時空間(DST)モジュール
2) 時間的セグメンテーション予測タスクを用いた2次元時空間(2DST)モジュールによる時間的意味論の強化
3)2次元表現と3次元表現の相互作用を可能にする時空間相互作用モデリング(STIM)モジュール。
nuScenes、Lyft-Level5、nuScenes-Occupancyデータセットの実験は、InterOCFが既存のベースラインアプローチを一貫して上回ることを示している。
関連論文リスト
- From Where to How: Continuous 4D Interaction Forecasting from Egocentric Video [62.898774619819676]
エゴセントリックな4Dインタラクション予測は、将来のインタラクションが3Dで起こる場所と、その実現のために人体がどのように動くかを予測することを目的としている。
コヒーレント4D(Coherent4D)は、3つの領域にわたる約233Kサンプルからなる連続4Dインタラクション予測のための大規模エゴセントリックデータセットである。
HIGFlow(Hand Interaction Guided Residual Flow)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-09-08T12:06:23Z) - Geometry-Aware Spatio-Temporal Context Modeling for 4D Occupancy Forecasting [45.44434144383036]
本研究では、4次元占有予測のための幾何学的空間空間的文脈モデリング手法(GAST)を提案する。
具体的には、生成モジュールは、高い幾何学的忠実度と意味的妥当性を有するフレーム単位の占有率を生成する。
Occ3D-nusの実験は、我々の手法の優位性を示し、mIoUが7.67%、IoUが6.44%、スピードアップが2.84倍である。
論文 参考訳（メタデータ） (2026-08-15T15:22:29Z) - 4D-WAM: Infusing Spatiotemporal Awareness into World Action Models through Trajectory Fields [35.51443781145251]
World Action Models (WAM) は、ビデオ予測とアクション生成を共同でモデル化する。
WAMは2Dピクセル空間でビデオを表現するのが一般的で、ロボットアクションが実行される3D空間との表現ギャップを生じる。
最近の3Dアプローチでは3D情報を導入しているが、3D構造のダイナミクスを完全に活用できない。
本研究では,WAMに3次元軌道場から知識を注入するモデルに依存しないトレーニング戦略である4D-WAMを提案する。
論文 参考訳（メタデータ） (2026-08-08T09:11:05Z) - StemVLA:An Open-Source Vision-Language-Action Model with Future 3D Spatial Geometry Knowledge and 4D Historical Representation [6.0744834626758495]
StemVLAは、未来の3D空間知識と歴史的4D表現の両方をアクション予測に明示的に組み込む新しいフレームワークである。
我々は,CALVIN ABC-D ベンチマーク [46] において,StemVLA はタスクの長期化と最先端性能を著しく向上し,XXX の平均シーケンス長を達成できることを示した。
論文 参考訳（メタデータ） (2026-02-27T06:43:37Z) - SS4D: Native 4D Generative Model via Structured Spacetime Latents [50.29500511908054]
モノクロビデオから直接動的3Dオブジェクトを合成する,ネイティブな4D生成モデルであるSS4Dを提案する。
発電機を4Dデータで直接訓練し、高忠実度、時間的コヒーレンス、構造的整合性を実現する。
論文 参考訳（メタデータ） (2025-12-16T10:45:06Z) - Motion4D: Learning 3D-Consistent Motion and Semantics for 4D Scene Understanding [54.859943475818234]
基礎モデルからの2次元先行を統一された4次元ガウススプラッティング表現に統合する新しいフレームワークであるMotion4Dを提案する。
1) 局所的な一貫性を維持するために連続的に動き場と意味体を更新する逐次最適化,2) 長期的コヒーレンスのために全ての属性を共同で洗練するグローバル最適化,である。
提案手法は,ポイントベーストラッキング,ビデオオブジェクトセグメンテーション,新しいビュー合成など,多様なシーン理解タスクにおいて,2次元基礎モデルと既存の3Dベースアプローチの両方に優れる。
論文 参考訳（メタデータ） (2025-12-03T09:32:56Z) - Doracamom: Joint 3D Detection and Occupancy Prediction with Multi-view 4D Radars and Cameras for Omnidirectional Perception [9.76463525667238]
マルチビューカメラと4Dレーダを融合した最初のフレームワークであるDoracamomを提案する。
コードとモデルは公開されます。
論文 参考訳（メタデータ） (2025-01-26T04:24:07Z) - Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。
各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。
頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
論文 参考訳（メタデータ） (2023-03-14T02:58:27Z) - DETR4D: Direct Multi-View 3D Object Detection with Sparse Attention [50.11672196146829]
サラウンドビュー画像を用いた3次元物体検出は、自動運転にとって必須の課題である。
マルチビュー画像における3次元オブジェクト検出のためのスパースアテンションと直接特徴クエリを探索するトランスフォーマーベースのフレームワークであるDETR4Dを提案する。
論文 参考訳（メタデータ） (2022-12-15T14:18:47Z) - Ret3D: Rethinking Object Relations for Efficient 3D Object Detection in
Driving Scenes [82.4186966781934]
Ret3Dと呼ばれるシンプルで効率的で効果的な2段階検出器を導入する。
Ret3Dの中核は、新しいフレーム内およびフレーム間関係モジュールの利用である。
無視できる余分なオーバーヘッドにより、Ret3Dは最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-08-18T03:48:58Z) - Learning Spatial and Temporal Variations for 4D Point Cloud Segmentation [0.39373541926236766]
フレーム間の時間的情報は3次元シーンの知覚に重要な知識をもたらすと我々は主張する。
本研究では,4次元点雲の時間変動を捉えるために,時間変動対応モジュールと時間変化対応のボクセル点精製器を設計する。
論文 参考訳（メタデータ） (2022-07-11T07:36:26Z) - Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for
Temporal Sentence Grounding [61.57847727651068]
テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。
これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。
我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
論文 参考訳（メタデータ） (2022-03-06T13:57:09Z) - Spatio-Temporal Self-Attention Network for Video Saliency Prediction [13.873682190242365]
3D畳み込みニューラルネットワークは、コンピュータビジョンにおけるビデオタスクに対して有望な結果を得た。
本稿では,ビデオ・サリエンシ予測のための時空間自己注意3ネットワーク(STSANet)を提案する。
論文 参考訳（メタデータ） (2021-08-24T12:52:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。