論文の概要: Explore Contextual Information for 3D Scene Graph Generation
- arxiv url: http://arxiv.org/abs/2210.06240v1
- Date: Wed, 12 Oct 2022 14:26:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 14:55:23.066981
- Title: Explore Contextual Information for 3D Scene Graph Generation
- Title(参考訳): 3次元シーングラフ生成のための文脈情報探索
- Authors: Yuanyuan Liu, Chengjiang Long, Zhaoxuan Zhang, Bokai Liu, Qiang Zhang,
Baocai Yin, Xin Yang
- Abstract要約: 3次元シーングラフ生成(SGG)はコンピュータビジョンに大きな関心を寄せている。
本稿では,3次元SGGタスクのコンテキスト情報を完全に探索するフレームワークを提案する。
提案手法は,従来の3DSSGデータセットの手法よりも優れた性能を示す。
- 参考スコア(独自算出の注目度): 43.66442227874461
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D scene graph generation (SGG) has been of high interest in computer vision.
Although the accuracy of 3D SGG on coarse classification and single relation
label has been gradually improved, the performance of existing works is still
far from being perfect for fine-grained and multi-label situations. In this
paper, we propose a framework fully exploring contextual information for the 3D
SGG task, which attempts to satisfy the requirements of fine-grained entity
class, multiple relation labels, and high accuracy simultaneously. Our proposed
approach is composed of a Graph Feature Extraction module and a Graph
Contextual Reasoning module, achieving appropriate information-redundancy
feature extraction, structured organization, and hierarchical inferring. Our
approach achieves superior or competitive performance over previous methods on
the 3DSSG dataset, especially on the relationship prediction sub-task.
- Abstract(参考訳): 3次元シーングラフ生成(SGG)はコンピュータビジョンに大きな関心を寄せている。
粗い分類と単一関係ラベルに対する3d sggの精度は徐々に向上しているが、既存の作品の性能は細粒度や多層的な状況では完璧にはほど遠い。
本稿では,細粒度エンティティクラス,複数の関係ラベル,高い精度を同時に満たそうとする3d sggタスクの文脈情報を完全に探索するフレームワークを提案する。
提案手法は,グラフ特徴抽出モジュールとグラフコンテキスト推論モジュールから構成され,適切な情報冗長性特徴抽出,構造化組織,階層推論を実現する。
提案手法は,3DSSGデータセットにおける従来の手法よりも,特に関係予測サブタスクにおいて,優れた,あるいは競争的な性能を実現する。
関連論文リスト
- S^2Former-OR: Single-Stage Bimodal Transformer for Scene Graph
Generation in OR [52.964721233679406]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に、ポーズ推定とオブジェクト検出を伴う中間プロセスに依存するセマンティックシーングラフを生成する多段階学習に依存してきた。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGの単一段バイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-22T11:40:49Z) - Belief Scene Graphs: Expanding Partial Scenes with Objects through
Computation of Expectation [5.7372875378230725]
Belief Scene Graphsは、部分的な3Dシーングラフのユーティリティ駆動拡張である。
本稿では,任意の3次元シーングラフ上での信念の計算のためのグラフベースの学習手法を提案する。
本稿では,意味的注釈付き実生活3D空間に基づく3次元シーングラフデータセットを作成するための新しい手法を提案する。
論文 参考訳(メタデータ) (2024-02-06T09:37:42Z) - SGTR+: End-to-end Scene Graph Generation with Transformer [42.396971149458324]
シーングラフ生成(SGG)は、その構成特性のため、困難な視覚的理解課題である。
これまでのほとんどの作業ではボトムアップ、2段階またはポイントベースの1段階のアプローチを採用していた。
本稿では、上記の問題に対処する新しいSGG法を提案し、そのタスクを二部グラフ構築問題として定式化する。
論文 参考訳(メタデータ) (2024-01-23T15:18:20Z) - Lang3DSG: Language-based contrastive pre-training for 3D Scene Graph
prediction [16.643252717745348]
本稿では,3次元シーングラフのための言語ベースの事前学習手法を提案する。
一般的な視覚言語モデルであるCLIPの言語エンコーダを利用して、その知識をグラフベースのネットワークに抽出する。
提案手法は,メインセマンティックな3Dシーングラフベンチマークにおいて,最先端の結果を達成している。
論文 参考訳(メタデータ) (2023-10-25T09:26:16Z) - Incremental 3D Semantic Scene Graph Prediction from RGB Sequences [86.77318031029404]
RGB画像列が与えられたシーンの一貫性のある3Dセマンティックシーングラフをインクリメンタルに構築するリアルタイムフレームワークを提案する。
提案手法は,新たなインクリメンタルエンティティ推定パイプラインとシーングラフ予測ネットワークから構成される。
提案するネットワークは,シーンエンティティから抽出した多視点および幾何学的特徴を用いて,反復的メッセージパッシングを用いた3次元セマンティックシーングラフを推定する。
論文 参考訳(メタデータ) (2023-05-04T11:32:16Z) - Towards Open-vocabulary Scene Graph Generation with Prompt-based
Finetuning [84.39787427288525]
シーングラフ生成(SGG)は、画像内のオブジェクト間の視覚的関係を検出するための基本的なタスクである。
オープンボキャブラリシーングラフ生成は,モデルが一連のベースオブジェクトクラスでトレーニングされる,斬新で現実的で困難な設定である。
我々のメソッドは、既存のメソッドが処理できない、完全に見えないオブジェクトクラスに対する推論をサポートすることができる。
論文 参考訳(メタデータ) (2022-08-17T09:05:38Z) - Semantic Compositional Learning for Low-shot Scene Graph Generation [122.51930904132685]
多くのシーングラフ生成(SGG)モデルは、トレーニングに限定された注釈付き関係トリプルのみを使用する。
本稿では,新たな意味論的構成学習戦略を提案する。
最近の3つのSGGモデルでは、我々の戦略を追加することで、その性能が50%近く向上する。
論文 参考訳(メタデータ) (2021-08-19T10:13:55Z) - Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions [94.17683799712397]
我々は、グラフ内のシーンのエンティティを整理するデータ構造であるシーングラフに焦点を当てる。
本研究では,シーンの点雲からシーングラフを回帰する学習手法を提案する。
本稿では,3D-3Dおよび2D-3Dマッチングの中間表現としてグラフが機能するドメインに依存しない検索タスクにおける本手法の適用について述べる。
論文 参考訳(メタデータ) (2020-04-08T12:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。