論文の概要: IGGT4D: Streaming 4D Instance-Grounded Geometry Transformer
- arxiv url: http://arxiv.org/abs/2607.19228v1
- Date: Tue, 21 Jul 2026 16:00:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.482935
- Title: IGGT4D: Streaming 4D Instance-Grounded Geometry Transformer
- Title（参考訳）: IGGT4D:4Dインスタンス周囲の幾何学変換器をストリーミング
- Abstract要約: オンライン4Dシーン理解のためのストリーミングインスタンスグラウンド幾何変換器IGGT4Dを提案する。
IGGT4Dは、ビデオフレームを逐次処理し、因果時空間モデリングを通じて歴史的コンテキストを再利用し、カメラモーション、幾何学、オブジェクトアイデンティティの統一表現を漸進的に更新する。
3次元再構成、ポーズ推定、例空間追跡、オープンボキャブラリセグメンテーションの実験は、IGGT4Dが既存のストリーミングベースラインより優れていることを示した。
- 参考スコア（独自算出の注目度）: 64.5765465030666
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-world spatial intelligence requires agents to understand scenes from continuous video streams, where objects move, persist, disappear, and reappear over time. While recent spatial foundation models have enabled generalizable feed-forward 3D reconstruction, most streaming methods remain geometry-centric and lack temporally consistent object-level understanding. Meanwhile, existing semantic reconstruction and 3D-aware vision-language methods largely rely on externally extracted 2D semantic cues or loosely coupled geometry inputs, limiting unified geometry-instance learning in long dynamic scenes. In this paper, we propose IGGT4D, a streaming instance-grounded geometry Transformer for online 4D scene understanding. IGGT4D processes video frames sequentially, reuses historical context through causal spatial-temporal modeling, and incrementally updates a unified representation of camera motion, geometry, and object identity. This enables long-sequence feed-forward reconstruction with geometry-instance consistency in dynamic environments. To address the lack of high-quality 4D supervision, we further construct InsScene4D-147K, a large-scale dataset spanning real/synthetic and static/dynamic scenes, with RGB images, depth, poses, and temporally consistent instance masks generated by an automated geometry-guided annotation pipeline. Experiments on 3D reconstruction, pose estimation, instance spatial tracking, and open-vocabulary segmentation demonstrate that IGGT4D outperforms existing streaming baselines while maintaining scalable online inference for long dynamic sequences.
- Abstract（参考訳）: 現実世界の空間知能は、エージェントが連続したビデオストリームからシーンを理解する必要がある。
最近の空間基盤モデルでは、一般化可能なフィードフォワード3D再構成が可能になっているが、ほとんどのストリーミング手法は幾何学中心であり、時間的に一貫したオブジェクトレベルの理解が欠如している。
一方、既存の意味再構成と3D対応の視覚言語手法は、外部から抽出された2Dセマンティックキューや疎結合な幾何学的入力に大きく依存しており、長いダイナミックシーンにおける統一的な幾何学的インスタンス学習を制限している。
本稿では,オンライン4Dシーン理解のためのストリーミングインスタンスグラウンド幾何変換器IGGT4Dを提案する。
IGGT4Dは、ビデオフレームを逐次処理し、因果時空間モデリングを通じて歴史的コンテキストを再利用し、カメラモーション、幾何学、オブジェクトアイデンティティの統一表現を漸進的に更新する。
これにより、動的環境におけるジオメトリ・インスタンス整合性を備えた長時間フィードフォワード再構成が可能となる。
InsScene4D-147Kは、RGB画像、奥行き、ポーズ、時間的に一貫したインスタンスマスクを自動幾何誘導のアノテーションパイプラインで生成し、リアルタイム・合成・静的・動的シーンにまたがる大規模なデータセットである。
3次元再構成、ポーズ推定、例空間追跡、オープンボキャブラリセグメンテーションの実験により、IGGT4Dは、長時間の動的シーケンスに対するスケーラブルなオンライン推論を維持しながら、既存のストリーミングベースラインを上回っていることが示された。
関連論文リスト
- G$^2$TAM: Geometry Grounded Track Anything Model [49.05553245076823]
本稿では,RGB画像やビデオのみを用いて,3次元のインスタンス追跡を高速化するための統一的なフレームワークを提案する。
G$2$TAMは空間的に整列した幾何学的表現を暗黙記憶として使用し、安定したインスタンス識別とフレームとビュー間のローカライゼーションを保証する。
中心となるのは、視覚的およびテキスト的プロンプトを共有幾何学空間に統合し、エンドツーエンドの空間再構成とインスタンス一貫性マスク予測を可能にするクロスモーダル空間エンコーダである。
論文 参考訳（メタデータ） (2026-07-04T09:32:13Z) - Ground4D: Consistency-Aware 4D Reconstruction from Monocular Video [69.94904173314505]
2つのステージ上に構築された幾何グラウンドのフレームワークであるGround4Dを提案する。
まず,モノクロ映像から複数視点の立体形状とカメラポーズを再構成する。
第2に,動的ガウススプラッティングによる幾何整合性を考慮した改良を行う。
論文 参考訳（メタデータ） (2026-06-27T09:27:42Z) - IVGT: Implicit Visual Geometry Transformer for Neural Scene Representation [76.36174247570716]
ポーズレス多視点画像から連続的かつ一貫性のある幾何を暗黙的にモデル化するインプリシトビジュアル幾何変換器IVGTを提案する。
IVGTは標準座標系で連続的なニューラルネットワークシーン表現を学習し、任意の3D位置での連続的な空間クエリをサポートする。
連続的かつコヒーレントな表面形状の直接抽出を可能にし、任意の視点からRGB画像、深度マップ、表面正規写像のレンダリングを可能にする。
論文 参考訳（メタデータ） (2026-05-15T17:59:57Z) - GemDepth: Geometry-Embedded Features for 3D-Consistent Video Depth [12.866152238833104]
ビデオ深度推定は、一眼的予測を時間領域に拡張し、コヒーレンスを確保する。
現在のアプローチは主にトランスフォーマーによる時間的平滑化に依存しており、厳密な3次元幾何学的整合性を維持するのに苦労している。
GemDepthは,カメラモーションとグローバル3D構造を明確に認識することが3D一貫性の前提条件である,という知見に基づいて構築されたフレームワークである。
論文 参考訳（メタデータ） (2026-05-11T13:11:54Z) - GeoRect4D: Geometry-Compatible Generative Rectification for Dynamic Sparse-View 3D Reconstruction [16.448484686109992]
マルチビュービデオからダイナミックな3Dシーンを再構築することは、しばしば幾何学的な崩壊、軌道のドリフト、浮き彫りのアーティファクトに繋がる、非常に不適切である。
最近の試みでは、欠落したコンテンツに幻覚を与える遺伝子前駆体を導入しているが、ナイーブな統合はしばしば構造的ドリフトと時間的不整合を引き起こす。
そこで本稿では, 疎視動的再構成のための新しい統合フレームワークであるGeoRect4Dを提案する。
論文 参考訳（メタデータ） (2026-04-22T17:12:02Z) - IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。
本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
論文 参考訳（メタデータ） (2025-10-26T14:57:44Z) - Streaming 4D Visual Geometry Transformer [63.99937807085461]
入力シーケンスをオンラインで処理するストリーミング4Dビジュアルジオメトリ変換器を提案する。
時間的因果的注意を用いて、履歴キーと値を暗黙記憶としてキャッシュし、より効率的な長期4D再構成を可能にする。
各種4次元幾何知覚ベンチマーク実験により,オンラインシナリオにおける推論速度の向上が示された。
論文 参考訳（メタデータ） (2025-07-15T17:59:57Z) - Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction [72.54905331756076]
動的シーンのモノクロ3次元再構成にビデオ拡散モデルを再利用するGeo4Dを提案する。
大規模な事前訓練ビデオモデルによってキャプチャされた強いダイナミックな事前情報を活用することで、Geo4Dは合成データのみを使用して訓練することができる。
提案手法は,これらのモダリティを調整・融合するマルチモーダルアライメントアルゴリズムと,推論時にスライディングウインドウアプローチを提案する。
論文 参考訳（メタデータ） (2025-04-10T17:59:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。