Fugu-MT 論文翻訳(概要): $I^{2}$-World: Intra-Inter Tokenization for Efficient Dynamic 4D Scene Forecasting

論文の概要: $I^{2}$-World: Intra-Inter Tokenization for Efficient Dynamic 4D Scene Forecasting

arxiv url: http://arxiv.org/abs/2507.09144v1
Date: Sat, 12 Jul 2025 05:14:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-15 18:48:22.556545
Title: $I^{2}$-World: Intra-Inter Tokenization for Efficient Dynamic 4D Scene Forecasting
Title（参考訳）: I^{2}$-World: 効率的な動的4Dシーン予測のためのインタートークン化
Authors: Zhimin Liao, Ping Wei, Ruijie Zhang, Shuaijia Chen, Haoxuan Wang, Ziyang Ren,
Abstract要約: I2$-Worldは、4D占有率予測のための効率的なフレームワークである。本手法は,シーントークン化をシーン内およびシーン間トークン化剤に分解する。 I2$-Worldは最先端のパフォーマンスを達成し、既存の手法を25.1%のmIoUで、36.9%のIoUで4D占有率予測で上回っている。
参考スコア（独自算出の注目度）: 2.722128680610171
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Forecasting the evolution of 3D scenes and generating unseen scenarios via occupancy-based world models offers substantial potential for addressing corner cases in autonomous driving systems. While tokenization has revolutionized image and video generation, efficiently tokenizing complex 3D scenes remains a critical challenge for 3D world models. To address this, we propose $I^{2}$-World, an efficient framework for 4D occupancy forecasting. Our method decouples scene tokenization into intra-scene and inter-scene tokenizers. The intra-scene tokenizer employs a multi-scale residual quantization strategy to hierarchically compress 3D scenes while preserving spatial details. The inter-scene tokenizer residually aggregates temporal dependencies across timesteps. This dual design preserves the compactness of 3D tokenizers while retaining the dynamic expressiveness of 4D tokenizers. Unlike decoder-only GPT-style autoregressive models, $I^{2}$-World adopts an encoder-decoder architecture. The encoder aggregates spatial context from the current scene and predicts a transformation matrix to enable high-level control over scene generation. The decoder, conditioned on this matrix and historical tokens, ensures temporal consistency during generation. Experiments demonstrate that $I^{2}$-World achieves state-of-the-art performance, outperforming existing methods by 25.1\% in mIoU and 36.9\% in IoU for 4D occupancy forecasting while exhibiting exceptional computational efficiency: it requires merely 2.9 GB of training memory and achieves real-time inference at 37.0 FPS. Our code is available on https://github.com/lzzzzzm/II-World.
Abstract（参考訳）: 3Dシーンの進化を予測し、占有率に基づく世界モデルを通じて、目に見えないシナリオを生成することは、自律運転システムにおけるコーナーケースに対処する大きな可能性を秘めている。トークン化は画像とビデオ生成に革命をもたらしたが、複雑な3Dシーンを効率的にトークン化することは、3Dワールドモデルにとって重要な課題である。そこで本研究では、4D占有率予測のための効率的なフレームワークである$I^{2}$-Worldを提案する。本手法は,シーントークン化をシーン内およびシーン間トークン化剤に分解する。シーン内トークン化器は、空間的詳細を保存しながら階層的に3Dシーンを圧縮するために、マルチスケールの残留量子化戦略を用いる。インターシーントークンーザは、タイムステップ間で時間的依存関係を残留的に集約する。この二重設計は、4Dトークン化器の動的表現性を保ちながら、3Dトークン化器のコンパクト性を保っている。デコーダのみのGPTスタイルの自己回帰モデルとは異なり、$I^{2}$-Worldはエンコーダ-デコーダアーキテクチャを採用する。エンコーダは、現在のシーンから空間コンテキストを集約し、変換行列を予測し、シーン生成の高レベル制御を可能にする。この行列と歴史的なトークンに条件付けされたデコーダは、生成時の時間的一貫性を保証する。実験では、$I^{2}$-Worldは最先端のパフォーマンスを達成し、既存の手法をmIoUで25.1\%、IoUで36.9\%で上回り、4D占有率の予測をし、例外的な計算効率を示した。私たちのコードはhttps://github.com/lzzzzzm/II-Worldで公開されています。

関連論文リスト

Fast3D: Accelerating 3D Multi-modal Large Language Models for Efficient 3D Scene Understanding [24.964149224068027]
我々は,3D MLLM のためのプラグ&プレイ型ビジュアルトークン解析フレームワークである Fast3D を提案する。グローバルアテンション予測(GAP)は,目標モデルのグローバルアテンション分布を予測し,トークンの効果的な重要度推定を可能にする。 SAPは、注意に基づく複雑性評価を通じて動的トークン予算を導入し、レイヤーワイドプルーニング比率を自動的に調整する。
論文参考訳（メタデータ） (2025-07-12T16:29:02Z)
Uni4D: A Unified Self-Supervised Learning Framework for Point Cloud Videos [70.07088203106443]
既存の手法は運動を学ぶための明示的な知識に依存しており、結果として準最適表現をもたらす。 Masked Autoentangler (MAE)フレームワークは、4Dデータにおける低レベルの幾何学と高レベルのダイナミックスの間のギャップを埋めるのに苦労している。本稿では,表現的,識別的,移動可能な4次元表現を学習するための,新しい自己異方性MAEを提案する。
論文参考訳（メタデータ） (2025-04-07T08:47:36Z)
Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency [49.875459658889355]
Free4Dは、単一の画像から4Dシーンを生成するためのチューニング不要のフレームワークである。我々の重要な洞察は、一貫した4次元シーン表現のために、事前訓練された基礎モデルを蒸留することである。結果の4D表現はリアルタイムで制御可能なレンダリングを可能にする。
論文参考訳（メタデータ） (2025-03-26T17:59:44Z)
GaussRender: Learning 3D Occupancy with Gaussian Rendering [86.89653628311565]
GaussRenderは、投影的一貫性を強制することによって3D占有学習を改善するモジュールである。提案手法は,不整合な2次元プロジェクションを生成する3次元構成をペナライズすることにより,より一貫性のある3次元構造を実現する。
論文参考訳（メタデータ） (2025-02-07T16:07:51Z)
Sparse VideoGen: Accelerating Video Diffusion Transformers with Spatial-Temporal Sparsity [59.80405282381126]
拡散変換器(DiT)はビデオ生成を支配しているが、その高い計算コストは現実の応用性を著しく制限する。 Sparse VideoGen (SVG) と呼ばれる3次元フルアテンションに固有の空間を利用して推論効率を向上する学習自由フレームワークを提案する。 SVGはCagVideoX-v1.5とHunyuanVideoで最大2.28倍と2.33倍のスピードアップを達成する。
論文参考訳（メタデータ） (2025-02-03T19:29:16Z)
4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [115.67081491747943]
動的3Dシーン表現と新しいビュー合成はAR/VRおよびメタバースアプリケーションの実現に不可欠である。我々は,その基礎となる4次元体積を近似として,時間変化の異なる3次元シーンの再構成を再構成する。ストレージのボトルネックに対処するため、メモリフットプリントを効果的に削減するいくつかのコンパクトなバリエーションを導出する。
論文参考訳（メタデータ） (2024-12-30T05:30:26Z)
S4D: Streaming 4D Real-World Reconstruction with Gaussians and 3D Control Points [30.46796069720543]
本稿では,離散的な3次元制御点を用いた4次元実世界の再構成をストリーミングする手法を提案する。この方法は局所光を物理的にモデル化し、運動デカップリング座標系を確立する。従来のグラフィックスと学習可能なパイプラインを効果的にマージすることにより、堅牢で効率的なローカルな6自由度(6自由度)モーション表現を提供する。
論文参考訳（メタデータ） (2024-08-23T12:51:49Z)
OccSora: 4D Occupancy Generation Models as World Simulators for Autonomous Driving [62.54220021308464]
自律運転のための3次元世界開発をシミュレートするために,拡散型4次元占有率生成モデルOccSoraを提案する。 OccSoraは、正確な3Dレイアウトと時間的一貫性を備えた16sビデオを生成し、運転シーンの空間的および時間的分布を理解する能力を示す。
論文参考訳（メタデータ） (2024-05-30T17:59:42Z)
Dynamic 3D Point Cloud Sequences as 2D Videos [81.46246338686478]
3Dポイントクラウドシーケンスは、現実世界の環境における最も一般的で実用的な表現の1つとして機能する。 textitStructured Point Cloud Videos (SPCV) と呼ばれる新しい汎用表現を提案する。 SPCVは点雲列を空間的滑らかさと時間的一貫性を持つ2Dビデオとして再編成し、画素値は点の3D座標に対応する。
論文参考訳（メタデータ） (2024-03-02T08:18:57Z)
Compact 3D Scene Representation via Self-Organizing Gaussian Grids [10.816451552362823]
3D Gaussian Splattingは、静的な3Dシーンをモデリングするための非常に有望なテクニックとして最近登場した。本稿では3DGSのパラメータを局所的均一性を持つ2次元グリッドに整理したコンパクトなシーン表現を提案する。本手法は,訓練時間の増加を伴わない複雑なシーンに対して,17倍から42倍の縮小係数を実現する。
論文参考訳（メタデータ） (2023-12-19T20:18:29Z)
NDC-Scene: Boost Monocular 3D Semantic Scene Completion in Normalized Device Coordinates Space [77.6067460464962]
SSC(Monocular 3D Semantic Scene Completion)は、単一の画像から複雑なセマンティックスや幾何学的形状を予測し、3D入力を必要としないため、近年大きな注目を集めている。我々は,3次元空間に投影された2次元特徴の特徴的曖昧さ,3次元畳み込みのPose Ambiguity,深さの異なる3次元畳み込みにおける不均衡など,現在の最先端手法におけるいくつかの重要な問題を明らかにする。シーン補完ネットワーク(NDC-Scene)を考案し,2を直接拡張する。
論文参考訳（メタデータ） (2023-09-26T02:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。