論文の概要: 3D Scene Graph Prediction on Point Clouds Using Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2308.06719v1
• Date: Sun, 13 Aug 2023 08:20:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 15:44:25.275069
• Title: 3D Scene Graph Prediction on Point Clouds Using Knowledge Graphs
• Title（参考訳）: 知識グラフを用いた点雲上の3次元シーングラフ予測
• Authors: Yiding Qiu, Henrik I. Christensen
• Abstract要約: 3Dシーングラフ予測は、オブジェクトクラスとその関係を3D環境内で同時に予測することを目的としたタスクである。 本稿では,屋内シーンの点雲上での3次元シーングラフ予測におけるコモンセンス知識グラフの適用について検討する。
• 参考スコア（独自算出の注目度）: 4.5726621722778305
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: 3D scene graph prediction is a task that aims to concurrently predict object classes and their relationships within a 3D environment. As these environments are primarily designed by and for humans, incorporating commonsense knowledge regarding objects and their relationships can significantly constrain and enhance the prediction of the scene graph. In this paper, we investigate the application of commonsense knowledge graphs for 3D scene graph prediction on point clouds of indoor scenes. Through experiments conducted on a real-world indoor dataset, we demonstrate that integrating external commonsense knowledge via the message-passing method leads to a 15.0 % improvement in scene graph prediction accuracy with external knowledge and $7.96\%$ with internal knowledge when compared to state-of-the-art algorithms. We also tested in the real world with 10 frames per second for scene graph generation to show the usage of the model in a more realistic robotics setting.
• Abstract（参考訳）: 3Dシーングラフ予測は、オブジェクトクラスとその関係を3D環境内で同時に予測することを目的としたタスクである。 これらの環境は、主に人間によって設計され、オブジェクトとその関係に関する常識知識を取り入れることで、シーングラフの予測を大幅に制限し、強化することができる。 本稿では,屋内シーンの点雲上での3次元シーングラフ予測におけるコモンセンス知識グラフの適用について検討する。 実世界の屋内データセット上で実施した実験により,メッセージパッシング手法による外部コモンセンス知識の統合により,外部知識を用いたシーングラフ予測精度が15.0%向上し,最先端アルゴリズムと比較して内部知識が7.96セント向上することを示した。 また、シーングラフ生成のために、1秒10フレームで実世界でテストし、よりリアルなロボティクス環境でのモデルの使用状況を示した。

関連論文リスト

• ESGNN: Towards Equivariant Scene Graph Neural Network for 3D Scene Understanding [2.5165775267615205]
  この研究は、シーン理解のために3Dポイントクラウドからセマンティックシーングラフを生成するために、Equivariant Graph Neural Networkを実装した最初のものである。 提案手法であるESGNNは、既存の最先端手法よりも優れており、より高速な収束によるシーン推定の大幅な改善が示されている。
  論文  参考訳（メタデータ） (2024-06-30T06:58:04Z)
• 3D scene generation from scene graphs and self-attention [51.49886604454926]
  本稿では,シーングラフとフロアプランから3次元シーンを合成する条件付き変分オートエンコーダ(cVAE)モデルを提案する。 我々は、シーン内のオブジェクト間の高レベルな関係をキャプチャするために、自己注意層の特性を利用する。
  論文  参考訳（メタデータ） (2024-04-02T12:26:17Z)
• Lang3DSG: Language-based contrastive pre-training for 3D Scene Graph prediction [16.643252717745348]
  本稿では,3次元シーングラフのための言語ベースの事前学習手法を提案する。 一般的な視覚言語モデルであるCLIPの言語エンコーダを利用して、その知識をグラフベースのネットワークに抽出する。 提案手法は,メインセマンティックな3Dシーングラフベンチマークにおいて,最先端の結果を達成している。
  論文  参考訳（メタデータ） (2023-10-25T09:26:16Z)
• SGRec3D: Self-Supervised 3D Scene Graph Learning via Object-Level Scene Reconstruction [16.643252717745348]
  本稿では,3次元シーングラフ予測のための自己教師付き事前学習手法であるSGRec3Dを提案する。 事前トレーニングを行うSGRec3Dはオブジェクト関係ラベルを必要としないため、大規模な3Dシーン理解データセットを活用できる。 我々の実験は,最近のクラウドベースの事前学習手法とは対照的に,提案した事前学習は3次元シーングラフの予測を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2023-09-27T14:45:29Z)
• CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion [83.30168660888913]
  シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。 パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。 生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
  論文  参考訳（メタデータ） (2023-05-25T17:39:13Z)
• Incremental 3D Semantic Scene Graph Prediction from RGB Sequences [86.77318031029404]
  RGB画像列が与えられたシーンの一貫性のある3Dセマンティックシーングラフをインクリメンタルに構築するリアルタイムフレームワークを提案する。 提案手法は,新たなインクリメンタルエンティティ推定パイプラインとシーングラフ予測ネットワークから構成される。 提案するネットワークは,シーンエンティティから抽出した多視点および幾何学的特徴を用いて,反復的メッセージパッシングを用いた3次元セマンティックシーングラフを推定する。
  論文  参考訳（メタデータ） (2023-05-04T11:32:16Z)
• SGAligner : 3D Scene Alignment with Scene Graphs [84.01002998166145]
  3Dシーングラフの構築は、いくつかの具体的AIアプリケーションのためのシーン表現のトピックとして登場した。 オーバーラップ可能な3次元シーングラフのペアをゼロから部分的に整列させるという基本的な問題に着目する。 そこで我々はSGAlignerを提案する。SGAlignerは3次元シーングラフのペアを組合わせるための最初の方法であり、その組込みシナリオに対して堅牢である。
  論文  参考訳（メタデータ） (2023-04-28T14:39:22Z)
• Learning Visual Commonsense for Robust Scene Graph Generation [49.208518291993705]
  シーングラフ生成モデルは、野生における知覚の難しさのために間違いを犯しがちである。 本稿では,データから可視性や直感的な物理などの視覚的常識を自動取得する手法を提案する。 本モデルでは,どの手法よりもコモンセンスを学習し,最先端のシーングラフ生成手法の精度を向上させる。
  論文  参考訳（メタデータ） (2020-06-17T03:07:53Z)
• Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions [94.17683799712397]
  我々は、グラフ内のシーンのエンティティを整理するデータ構造であるシーングラフに焦点を当てる。 本研究では,シーンの点雲からシーングラフを回帰する学習手法を提案する。 本稿では,3D-3Dおよび2D-3Dマッチングの中間表現としてグラフが機能するドメインに依存しない検索タスクにおける本手法の適用について述べる。
  論文  参考訳（メタデータ） (2020-04-08T12:25:25Z)
• 3D Dynamic Scene Graphs: Actionable Spatial Perception with Places, Objects, and Humans [27.747241700017728]
  動作可能な空間知覚のための統一表現として,3次元ダイナミックシーングラフを提案する。 3D Dynamic Scene Graphsは、計画と意思決定、人間とロボットのインタラクション、長期的な自律性、シーン予測に大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2020-02-15T00:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。