論文の概要: Belief Scene Graphs: Expanding Partial Scenes with Objects through Computation of Expectation

• arxiv url: http://arxiv.org/abs/2402.03840v2
• Date: Tue, 28 May 2024 08:42:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 03:28:21.423833
• Title: Belief Scene Graphs: Expanding Partial Scenes with Objects through Computation of Expectation
• Title（参考訳）: 信念のシーングラフ:期待の計算による部分的なシーンの拡張
• Authors: Mario A. V. Saucedo, Akash Patel, Akshit Saradagi, Christoforos Kanellakis, George Nikolakopoulos,
• Abstract要約: 本稿では,部分的な3次元シーングラフのユーティリティ駆動拡張であるBelief Scene Graphsの概念を提案する。 本稿では,任意の3次元シーングラフ上での信念(予想とも呼ばれる)の計算のためのグラフベースの学習手法を提案する。 本稿では,意味的注釈付き実生活3D空間に基づく3次元シーングラフデータセットを作成するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 5.34772724436823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this article, we propose the novel concept of Belief Scene Graphs, which are utility-driven extensions of partial 3D scene graphs, that enable efficient high-level task planning with partial information. We propose a graph-based learning methodology for the computation of belief (also referred to as expectation) on any given 3D scene graph, which is then used to strategically add new nodes (referred to as blind nodes) that are relevant to a robotic mission. We propose the method of Computation of Expectation based on Correlation Information (CECI), to reasonably approximate real Belief/Expectation, by learning histograms from available training data. A novel Graph Convolutional Neural Network (GCN) model is developed, to learn CECI from a repository of 3D scene graphs. As no database of 3D scene graphs exists for the training of the novel CECI model, we present a novel methodology for generating a 3D scene graph dataset based on semantically annotated real-life 3D spaces. The generated dataset is then utilized to train the proposed CECI model and for extensive validation of the proposed method. We establish the novel concept of \textit{Belief Scene Graphs} (BSG), as a core component to integrate expectations into abstract representations. This new concept is an evolution of the classical 3D scene graph concept and aims to enable high-level reasoning for task planning and optimization of a variety of robotics missions. The efficacy of the overall framework has been evaluated in an object search scenario, and has also been tested in a real-life experiment to emulate human common sense of unseen-objects. For a video of the article, showcasing the experimental demonstration, please refer to the following link: https://youtu.be/hsGlSCa12iY
• Abstract（参考訳）: 本稿では,部分的な情報を用いた効率的なハイレベルタスク計画を可能にする,部分的な3次元シーングラフのユーティリティ駆動拡張であるBelief Scene Graphsの概念を提案する。 本稿では,任意の3次元シーングラフ上での信念の計算(期待と呼ばれる)のためのグラフベースの学習手法を提案する。 本稿では,学習データからヒストグラムを学習し,相関情報に基づく予測予測計算手法を提案する。 3次元シーングラフのレポジトリからCECIを学ぶために,新しいグラフ畳み込みニューラルネットワーク(GCN)モデルを開発した。 新たなCECIモデルのトレーニングには3Dシーングラフのデータベースが存在しないため,意味的に注釈付けされた実生活3D空間をベースとした3Dシーングラフデータセットを生成するための新しい手法を提案する。 生成されたデータセットを用いて提案したCECIモデルをトレーニングし,提案手法の広範な検証を行う。 我々は、期待を抽象表現に統合するためのコアコンポーネントとして、新しい概念である『textit{Belief Scene Graphs}』(BSG)を確立した。 この新しいコンセプトは、従来の3Dシーングラフの概念の進化であり、さまざまなロボティクスミッションのタスク計画と最適化のための高レベルの推論を可能にすることを目的としている。 全体フレームワークの有効性は、対象探索シナリオで評価され、また、人間の目に見えない物体の常識をエミュレートする実生活実験でもテストされている。 実験デモのビデオについては、以下のリンクを参照してください。

関連論文リスト

• Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
  Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。 セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
  論文  参考訳（メタデータ） (2024-11-25T10:14:10Z)
• Lang3DSG: Language-based contrastive pre-training for 3D Scene Graph prediction [16.643252717745348]
  本稿では,3次元シーングラフのための言語ベースの事前学習手法を提案する。 一般的な視覚言語モデルであるCLIPの言語エンコーダを利用して、その知識をグラフベースのネットワークに抽出する。 提案手法は,メインセマンティックな3Dシーングラフベンチマークにおいて,最先端の結果を達成している。
  論文  参考訳（メタデータ） (2023-10-25T09:26:16Z)
• ConceptGraphs: Open-Vocabulary 3D Scene Graphs for Perception and Planning [125.90002884194838]
  ConceptGraphsはオープンな3Dシーン用のグラフ構造化表現である。 2Dファウンデーションモデルを活用し、マルチビューアソシエーションによってアウトプットを3Dに融合することで構築される。 我々は,この表現の有用性を,下流の計画タスクを通じて実証する。
  論文  参考訳（メタデータ） (2023-09-28T17:53:38Z)
• SGRec3D: Self-Supervised 3D Scene Graph Learning via Object-Level Scene Reconstruction [16.643252717745348]
  本稿では,3次元シーングラフ予測のための自己教師付き事前学習手法であるSGRec3Dを提案する。 事前トレーニングを行うSGRec3Dはオブジェクト関係ラベルを必要としないため、大規模な3Dシーン理解データセットを活用できる。 我々の実験は,最近のクラウドベースの事前学習手法とは対照的に,提案した事前学習は3次元シーングラフの予測を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2023-09-27T14:45:29Z)
• Incremental 3D Semantic Scene Graph Prediction from RGB Sequences [86.77318031029404]
  RGB画像列が与えられたシーンの一貫性のある3Dセマンティックシーングラフをインクリメンタルに構築するリアルタイムフレームワークを提案する。 提案手法は,新たなインクリメンタルエンティティ推定パイプラインとシーングラフ予測ネットワークから構成される。 提案するネットワークは,シーンエンティティから抽出した多視点および幾何学的特徴を用いて,反復的メッセージパッシングを用いた3次元セマンティックシーングラフを推定する。
  論文  参考訳（メタデータ） (2023-05-04T11:32:16Z)
• Instance-incremental Scene Graph Generation from Real-world Point Clouds via Normalizing Flows [9.4858987199432]
  ポイントクラウドのシーンが与えられ、それをグラフとして表現し、新しいインスタンスを自動的に増加させます。 シーンのオブジェクトレイアウトを示すグラフが最終的に生成される。 拡張現実のような視覚ベースのアプリケーションにおいて、新しい3Dオブジェクトを現実世界のシーンに挿入する際のガイドとなる。
  論文  参考訳（メタデータ） (2023-02-21T03:34:15Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• SceneGraphFusion: Incremental 3D Scene Graph Prediction from RGB-D Sequences [76.28527350263012]
  rgb-dフレームのシーケンスを与えられた3次元環境から意味的シーングラフを漸進的に構築する手法を提案する。 我々は、グラフニューラルネットワークを用いて、プリミティブシーンコンポーネントからpointnet機能を集約する。 提案手法は,35hzで動作する他の3dセマンティクスおよびパンオプティカルセグメンテーション法と同等の精度で,高いマージンで3dシーングラフ予測手法を上回る。
  論文  参考訳（メタデータ） (2021-03-27T13:00:36Z)
• Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions [94.17683799712397]
  我々は、グラフ内のシーンのエンティティを整理するデータ構造であるシーングラフに焦点を当てる。 本研究では,シーンの点雲からシーングラフを回帰する学習手法を提案する。 本稿では,3D-3Dおよび2D-3Dマッチングの中間表現としてグラフが機能するドメインに依存しない検索タスクにおける本手法の適用について述べる。
  論文  参考訳（メタデータ） (2020-04-08T12:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。