論文の概要: SGAligner : 3D Scene Alignment with Scene Graphs

• arxiv url: http://arxiv.org/abs/2304.14880v1
• Date: Fri, 28 Apr 2023 14:39:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 13:51:25.611791
• Title: SGAligner : 3D Scene Alignment with Scene Graphs
• Title（参考訳）: SGAligner : シーングラフを用いた3次元シーンアライメント
• Authors: Sayan Deb Sarkar, Ondrej Miksik, Marc Pollefeys, Daniel Barath, Iro Armeni
• Abstract要約: 3Dシーングラフの構築は、いくつかの具体的AIアプリケーションのためのシーン表現のトピックとして登場した。 オーバーラップ可能な3次元シーングラフのペアをゼロから部分的に整列させるという基本的な問題に着目する。 そこで我々はSGAlignerを提案する。SGAlignerは3次元シーングラフのペアを組合わせるための最初の方法であり、その組込みシナリオに対して堅牢である。
• 参考スコア（独自算出の注目度）: 82.06841278070843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building 3D scene graphs has recently emerged as a topic in scene representation for several embodied AI applications to represent the world in a structured and rich manner. With their increased use in solving downstream tasks (eg, navigation and room rearrangement), can we leverage and recycle them for creating 3D maps of environments, a pivotal step in agent operation? We focus on the fundamental problem of aligning pairs of 3D scene graphs whose overlap can range from zero to partial and can contain arbitrary changes. We propose SGAligner, the first method for aligning pairs of 3D scene graphs that is robust to in-the-wild scenarios (ie, unknown overlap -- if any -- and changes in the environment). We get inspired by multi-modality knowledge graphs and use contrastive learning to learn a joint, multi-modal embedding space. We evaluate on the 3RScan dataset and further showcase that our method can be used for estimating the transformation between pairs of 3D scenes. Since benchmarks for these tasks are missing, we create them on this dataset. The code, benchmark, and trained models are available on the project website.
• Abstract（参考訳）: 3Dシーングラフの構築は、構造化されたリッチな方法で世界を表現するために、いくつかの具体化されたAIアプリケーションのためのシーン表現のトピックとして最近登場した。 下流タスク(ナビゲーションや部屋の配置など)の問題解決に利用が増えたことで、エージェント操作における重要なステップである環境の3Dマップの作成にそれらを活用して再利用できるだろうか? 重なりが0から偏りがあり、任意の変化を含むことができる3次元シーングラフのペアの整列に関する根本的な問題に焦点を当てる。 本研究では,SGAlignerを提案する。SGAlignerは3次元シーングラフのペアを配置する最初の手法で,環境の変化や環境の変化など,Wildのシナリオに対して堅牢である。 マルチモーダルな知識グラフにインスパイアされ、コントラスト学習を用いて、共同でマルチモーダルな埋め込み空間を学ぶ。 さらに,3RScanデータセットを用いて,2対の3Dシーン間の変換を推定できることを示す。 これらのタスクのベンチマークが欠けているので、このデータセット上でそれらを作成します。 コード、ベンチマーク、トレーニングされたモデルはプロジェクトのWebサイトで入手できる。

関連論文リスト

• Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
  Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。 セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
  論文  参考訳（メタデータ） (2024-11-25T10:14:10Z)
• Multiview Scene Graph [7.460438046915524]
  適切なシーン表現は、空間知性の追求の中心である。 未提示画像からマルチビューシーングラフ(MSG)を構築することを提案する。 MSGは、場所とオブジェクトノードを相互接続したシーンをトポロジ的に表現する。
  論文  参考訳（メタデータ） (2024-10-15T02:04:05Z)
• 3D Scene Diffusion Guidance using Scene Graphs [3.207455883863626]
  本研究では,シーングラフを用いた3次元シーン拡散誘導手法を提案する。 シーングラフが提供する相対的空間情報を活用するため,我々はデノナイジングネットワーク内の関係グラフ畳み込みブロックを利用する。
  論文  参考訳（メタデータ） (2023-08-08T06:16:37Z)
• CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion [83.30168660888913]
  シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。 パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。 生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
  論文  参考訳（メタデータ） (2023-05-25T17:39:13Z)
• OpenScene: 3D Scene Understanding with Open Vocabularies [73.1411930820683]
  従来の3Dシーン理解アプローチは、単一のタスクのためにモデルをトレーニングするためのラベル付き3Dデータセットに依存している。 私たちは,CLIP機能空間にテキストと画像ピクセルを埋め込んだ3次元シーンポイントの高密度な特徴をモデルが予測する代替手法OpenSceneを提案する。 このゼロショットアプローチは、タスク非依存のトレーニングとオープン語彙クエリを可能にする。
  論文  参考訳（メタデータ） (2022-11-28T18:58:36Z)
• SceneGraphFusion: Incremental 3D Scene Graph Prediction from RGB-D Sequences [76.28527350263012]
  rgb-dフレームのシーケンスを与えられた3次元環境から意味的シーングラフを漸進的に構築する手法を提案する。 我々は、グラフニューラルネットワークを用いて、プリミティブシーンコンポーネントからpointnet機能を集約する。 提案手法は,35hzで動作する他の3dセマンティクスおよびパンオプティカルセグメンテーション法と同等の精度で,高いマージンで3dシーングラフ予測手法を上回る。
  論文  参考訳（メタデータ） (2021-03-27T13:00:36Z)
• Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions [94.17683799712397]
  我々は、グラフ内のシーンのエンティティを整理するデータ構造であるシーングラフに焦点を当てる。 本研究では,シーンの点雲からシーングラフを回帰する学習手法を提案する。 本稿では,3D-3Dおよび2D-3Dマッチングの中間表現としてグラフが機能するドメインに依存しない検索タスクにおける本手法の適用について述べる。
  論文  参考訳（メタデータ） (2020-04-08T12:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。