論文の概要: SGFormer++: Semantic Graph Transformer for Incremental 3D Scene Graph Generation
- arxiv url: http://arxiv.org/abs/2606.15328v1
- Date: Sat, 13 Jun 2026 14:41:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.361884
- Title: SGFormer++: Semantic Graph Transformer for Incremental 3D Scene Graph Generation
- Title(参考訳): SGFormer++: インクリメンタルな3Dシーングラフ生成のためのセマンティックグラフ変換器
- Authors: Mengshi Qi, Changsheng Lv, Zijian Fu, Xianlin Zhang, Huadong Ma,
- Abstract要約: 3次元シーングラフ生成のためのセマンティックグラフ変換器SGFormer++を提案する。
ポイントクラウドシーンをセマンティックな構造グラフに解析し、ノードは検出されたオブジェクトインスタンスとエッジをペア関係にエンコードする。
標準設定とインクリメンタル設定の両方で最先端のパフォーマンスを実現する。
- 参考スコア(独自算出の注目度): 44.62000477544674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose SGFormer++, a novel Semantic Graph Transformer for 3D scene graph generation (SGG), which aims to parse point cloud scenes into semantic structural graphs, where nodes denote detected object instances and edges encode their pairwise relationships, with the core challenge lying in modeling complex global scene structure. While existing graph convolutional network (GCN)-based methods suffer from over-smoothing and limited receptive fields, SGFormer++ leverages Transformer layers as its backbone to enable global message passing. Specifically, we introduce two key components tailored for 3D SGG: (1) a Graph Embedding Layer++ that efficiently integrates edge-aware global context with linear computational complexity, and (2) a Semantic Injection Layer++ that enriches visual features with linguistic priors from large language models (LLMs) and vision-language models (VLMs), boosting semantic representation without introducing extra trainable parameters. To further address the practical challenge of incremental SGG (I-SGG), where new relationship categories arrive sequentially, we equip SGFormer++ with a novel Spatial-guided Feature Adapter, which calibrates predicate features using subject-object spatial geometry to counter scale variation, and a Cascaded Binary Prediction Head that mitigates catastrophic forgetting via task-incremental classifier expansion and logit distillation. Extensive experiments on the 3DSSG benchmark demonstrate that SGFormer++ achieves state-of-the-art performance in both standard and incremental settings: it yields a significant 4.49% absolute improvement in Predicate A@1 under the incremental setting. Code and data are available at: https://github.com/Andy20178/SGFormer.
- Abstract(参考訳): 本稿では,3次元シーングラフ生成のための新しいセマンティックグラフトランスフォーマーであるSGFormer++を提案する。これは,クラウドシーンを意味構造グラフに解析することを目的としており,ノードが検出されたオブジェクトインスタンスとエッジをペア関係に符号化し,複雑なグローバルシーン構造をモデル化する上での課題である。
既存のグラフ畳み込みネットワーク(GCN)ベースのメソッドは過剰なスムースと限定的な受容フィールドに悩まされているが、SGFormer++はTransformerレイヤをバックボーンとして利用して、グローバルなメッセージパッシングを可能にする。
具体的には、3D SGGに適した2つのキーコンポーネントを紹介します。(1)エッジ認識のグローバルコンテキストと線形計算の複雑さを効率的に統合するグラフ埋め込みレイヤ++、(2)大規模言語モデル(LLM)と視覚言語モデル(VLM)の言語的先行性で視覚的特徴を豊かにするセマンティックインジェクションレイヤ++、そして、追加のトレーニング可能なパラメータを導入することなくセマンティック表現を促進する。
そこで,SGFormer++には,空間的空間幾何学を用いて特徴をキャリブレーションし,スケールの変動に対処する新しい空間誘導型特徴適応器と,タスクインクリメンタルな分類器拡張とロジット蒸留による破滅的忘れを緩和するカスケード型分岐予測ヘッドを備える。
3DSSGベンチマークの大規模な実験は、SGFormer++が標準設定とインクリメンタル設定の両方で最先端のパフォーマンスを達成していることを示している。
コードとデータは、https://github.com/Andy20178/SGFormer.comで入手できる。
関連論文リスト
- IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。
本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
論文 参考訳(メタデータ) (2025-10-26T14:57:44Z) - SGIFormer: Semantic-guided and Geometric-enhanced Interleaving Transformer for 3D Instance Segmentation [14.214197948110115]
本稿では,SGIFormerという3次元インスタンスセグメンテーションのための新しい手法を提案する。
Semantic-Guided Mix Query (SMQ)とGeometric-enhanced Interleaving Transformer (GIT)デコーダで構成されている。
ScanNet V2、ScanNet200、そして挑戦的な高忠実度ScanNet++ベンチマークで最先端のパフォーマンスを達成した。
論文 参考訳(メタデータ) (2024-07-16T10:17:28Z) - A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳(メタデータ) (2024-06-19T22:30:08Z) - S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-22T11:40:49Z) - SGFormer: Semantic Graph Transformer for Point Cloud-based 3D Scene
Graph Generation [46.14140601855313]
本稿では,ポイントクラウドベースの3Dシーングラフ生成のためのSGFormer,Semantic Graph TransFormerという新しいモデルを提案する。
このタスクは、ポイントクラウドベースのシーンをセマンティックな構造グラフに解析することを目的としている。
論文 参考訳(メタデータ) (2023-03-20T11:59:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。