論文の概要: Multiview Scene Graph

• arxiv url: http://arxiv.org/abs/2410.11187v3
• Date: Wed, 20 Nov 2024 03:49:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:10:38.250359
• Title: Multiview Scene Graph
• Title（参考訳）: マルチビューシーングラフ
• Authors: Juexiao Zhang, Gao Zhu, Sihang Li, Xinhao Liu, Haorui Song, Xinran Tang, Chen Feng,
• Abstract要約: 適切なシーン表現は、空間知性の追求の中心である。 未提示画像からマルチビューシーングラフ(MSG)を構築することを提案する。 MSGは、場所とオブジェクトノードを相互接続したシーンをトポロジ的に表現する。
• 参考スコア（独自算出の注目度）: 7.460438046915524
• License:
• Abstract: A proper scene representation is central to the pursuit of spatial intelligence where agents can robustly reconstruct and efficiently understand 3D scenes. A scene representation is either metric, such as landmark maps in 3D reconstruction, 3D bounding boxes in object detection, or voxel grids in occupancy prediction, or topological, such as pose graphs with loop closures in SLAM or visibility graphs in SfM. In this work, we propose to build Multiview Scene Graphs (MSG) from unposed images, representing a scene topologically with interconnected place and object nodes. The task of building MSG is challenging for existing representation learning methods since it needs to jointly address both visual place recognition, object detection, and object association from images with limited fields of view and potentially large viewpoint changes. To evaluate any method tackling this task, we developed an MSG dataset and annotation based on a public 3D dataset. We also propose an evaluation metric based on the intersection-over-union score of MSG edges. Moreover, we develop a novel baseline method built on mainstream pretrained vision models, combining visual place recognition and object association into one Transformer decoder architecture. Experiments demonstrate that our method has superior performance compared to existing relevant baselines.
• Abstract（参考訳）: 適切なシーン表現は、エージェントが堅牢に再構築し、3Dシーンを効率的に理解できる空間知性の追求の中心である。 シーン表現は、3次元再構成のランドマークマップ、オブジェクト検出の3次元境界ボックス、占有率予測のボクセルグリッド、SLAMのループクロージャを持つポーズグラフやSfMの可視グラフなどのトポロジである。 本研究では,非ポーズ画像からマルチビューシーングラフ(MSG)を構築することを提案し,空間とオブジェクトノードを相互接続したシーンをトポロジ的に表現する。 視覚的位置認識, 物体検出, 物体関連性の両方に限定的な視野と潜在的に大きな視点変化を持つ画像から対処する必要があるため, 既存の表現学習手法ではMSGの構築は困難である。 この課題に対処する手法を評価するため,公開3次元データセットに基づくMSGデータセットとアノテーションを開発した。 また,MSGエッジのクロスオーバー・ユニオンスコアに基づく評価指標を提案する。 さらに,視覚的位置認識とオブジェクト関連を1つのトランスフォーマーデコーダアーキテクチャに組み合わせた,主流の事前学習型視覚モデルに基づく新しいベースライン手法を開発した。 実験により,本手法は既存のベースラインに比べて優れた性能を示した。

関連論文リスト

• Towards Localizing Structural Elements: Merging Geometrical Detection with Semantic Verification in RGB-D Data [0.0]
  本稿では, 壁面や地表面などの構造成分を局所化するための実時間パイプラインについて, 純三次元平面検出のための幾何計算を統合した。 並列なマルチスレッドアーキテクチャを持ち、環境中で検出されたすべての平面のポーズと方程式を正確に推定し、汎視的セグメンテーション検証を用いて地図構造を形成するものをフィルタリングし、検証された構成部品のみを保持する。 また、検出されたコンポーネントを統一された3次元シーングラフに(再)関連付けることで、幾何学的精度と意味的理解のギャップを埋めることもできる。
  論文  参考訳（メタデータ） (2024-09-10T16:28:09Z)
• GSLAMOT: A Tracklet and Query Graph-based Simultaneous Locating, Mapping, and Multiple Object Tracking System [8.247163057822258]
  本稿では,この課題に対処するため,トラックレットグラフとクエリグラフベースのフレームワークであるGSLAMOTを提案する。 実験は、KITTIと、困難なシナリオを強調するエミュレートされたトラフィック混雑データセット上で実施されている。
  論文  参考訳（メタデータ） (2024-08-17T13:09:33Z)
• Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers [59.0181939916084]
  従来の3Dネットワークは主に局所幾何学的詳細に焦点を当て、局所幾何学間の位相構造を無視する。 そこで本稿では,大規模画像上においてよく訓練されたトランスフォーマーから前駆体を抽出する,新しい先駆体蒸留法を提案する。 PointDA-10とSim-to-Realデータセットの実験は、提案手法が点クラウド分類におけるUDAの最先端性能を一貫して達成していることを検証する。
  論文  参考訳（メタデータ） (2024-07-26T06:29:09Z)
• MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
  本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。 結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
  論文  参考訳（メタデータ） (2024-06-13T17:59:30Z)
• CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion [83.30168660888913]
  シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。 パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。 生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
  論文  参考訳（メタデータ） (2023-05-25T17:39:13Z)
• Incremental 3D Semantic Scene Graph Prediction from RGB Sequences [86.77318031029404]
  RGB画像列が与えられたシーンの一貫性のある3Dセマンティックシーングラフをインクリメンタルに構築するリアルタイムフレームワークを提案する。 提案手法は,新たなインクリメンタルエンティティ推定パイプラインとシーングラフ予測ネットワークから構成される。 提案するネットワークは,シーンエンティティから抽出した多視点および幾何学的特徴を用いて,反復的メッセージパッシングを用いた3次元セマンティックシーングラフを推定する。
  論文  参考訳（メタデータ） (2023-05-04T11:32:16Z)
• SGAligner : 3D Scene Alignment with Scene Graphs [84.01002998166145]
  3Dシーングラフの構築は、いくつかの具体的AIアプリケーションのためのシーン表現のトピックとして登場した。 オーバーラップ可能な3次元シーングラフのペアをゼロから部分的に整列させるという基本的な問題に着目する。 そこで我々はSGAlignerを提案する。SGAlignerは3次元シーングラフのペアを組合わせるための最初の方法であり、その組込みシナリオに対して堅牢である。
  論文  参考訳（メタデータ） (2023-04-28T14:39:22Z)
• Loop Closure Detection Based on Object-level Spatial Layout and Semantic Consistency [14.694754836704819]
  本稿では3次元シーングラフの空間的レイアウトとセマンティック一貫性に基づくオブジェクトベースのループ閉包検出手法を提案する。 実験により,提案手法によりより正確な3次元意味マップを構築可能であることが示された。
  論文  参考訳（メタデータ） (2023-04-11T11:20:51Z)
• Learnable Triangulation for Deep Learning-based 3D Reconstruction of Objects of Arbitrary Topology from Single RGB Images [12.693545159861857]
  モノクロ画像から3次元物体を再構成する深層強化学習手法を提案する。 提案手法は, 視覚的品質, 再構成精度, 計算時間において, 最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2021-09-24T09:44:22Z)
• Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions [94.17683799712397]
  我々は、グラフ内のシーンのエンティティを整理するデータ構造であるシーングラフに焦点を当てる。 本研究では,シーンの点雲からシーングラフを回帰する学習手法を提案する。 本稿では,3D-3Dおよび2D-3Dマッチングの中間表現としてグラフが機能するドメインに依存しない検索タスクにおける本手法の適用について述べる。
  論文  参考訳（メタデータ） (2020-04-08T12:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。