Fugu-MT 論文翻訳(概要): Learning 4D Panoptic Scene Graph Generation from Rich 2D Visual Scene

論文の概要: Learning 4D Panoptic Scene Graph Generation from Rich 2D Visual Scene

arxiv url: http://arxiv.org/abs/2503.15019v1
Date: Wed, 19 Mar 2025 09:16:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-20 15:23:32.010856
Title: Learning 4D Panoptic Scene Graph Generation from Rich 2D Visual Scene
Title（参考訳）: リッチ2次元視覚シーンから4次元パノプティカルシーングラフ生成を学習する
Authors: Shengqiong Wu, Hao Fei, Jingkang Yang, Xiangtai Li, Juncheng Li, Hanwang Zhang, Tat-seng Chua,
Abstract要約: 本稿では,リッチな2次元視覚シーンアノテーションを活用して4次元シーン学習を促進する4D-PSG生成のための新しいフレームワークについて検討する。本研究では,2次元SGアノテーションから4次元シーンへ空間的時間的特徴を効果的に伝達する2次元から4次元の視覚的シーン伝達学習フレームワークを提案する。
参考スコア（独自算出の注目度）: 122.42861221739123
License:
Abstract: The latest emerged 4D Panoptic Scene Graph (4D-PSG) provides an advanced-ever representation for comprehensively modeling the dynamic 4D visual real world. Unfortunately, current pioneering 4D-PSG research can primarily suffer from data scarcity issues severely, as well as the resulting out-of-vocabulary problems; also, the pipeline nature of the benchmark generation method can lead to suboptimal performance. To address these challenges, this paper investigates a novel framework for 4D-PSG generation that leverages rich 2D visual scene annotations to enhance 4D scene learning. First, we introduce a 4D Large Language Model (4D-LLM) integrated with a 3D mask decoder for end-to-end generation of 4D-PSG. A chained SG inference mechanism is further designed to exploit LLMs' open-vocabulary capabilities to infer accurate and comprehensive object and relation labels iteratively. Most importantly, we propose a 2D-to-4D visual scene transfer learning framework, where a spatial-temporal scene transcending strategy effectively transfers dimension-invariant features from abundant 2D SG annotations to 4D scenes, effectively compensating for data scarcity in 4D-PSG. Extensive experiments on the benchmark data demonstrate that we strikingly outperform baseline models by a large margin, highlighting the effectiveness of our method.
Abstract（参考訳）: 最新の4D Panoptic Scene Graph (4D-PSG)は、ダイナミックな4Dビジュアルワールドを包括的にモデリングするための高度な表現を提供する。残念なことに、現在の先駆的な4D-PSG研究は、主にデータ不足の問題と結果の語彙外問題に悩まされる。これらの課題に対処するために,リッチな2次元視覚シーンアノテーションを活用して4次元シーン学習を強化する4D-PSG生成のための新しいフレームワークについて検討する。まず,3次元マスクデコーダと統合した4次元大規模言語モデル(4D-LLM)を導入する。連鎖したSG推論機構は、LLMのオープン語彙機能を利用して、正確で包括的なオブジェクトとリレーショナルラベルを反復的に推測するように設計されている。そこで,2次元SGアノテーションから4次元のシーンへの空間的時間的変化の特徴を効果的に伝達し,4次元PSGにおけるデータ不足を効果的に補償する2次元から4次元の視覚的シーン伝達学習フレームワークを提案する。ベンチマークデータに対する大規模な実験により,ベースラインモデルよりも大きなマージンを達成し,本手法の有効性を強調した。

論文の概要: Learning 4D Panoptic Scene Graph Generation from Rich 2D Visual Scene

関連論文リスト