論文の概要: Retargetable AR: Context-aware Augmented Reality in Indoor Scenes based
on 3D Scene Graph
- arxiv url: http://arxiv.org/abs/2008.07817v1
- Date: Tue, 18 Aug 2020 09:25:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 21:40:52.392919
- Title: Retargetable AR: Context-aware Augmented Reality in Indoor Scenes based
on 3D Scene Graph
- Title(参考訳): retargetable ar:3dシーングラフに基づく室内シーンにおけるコンテキスト対応拡張現実
- Authors: Tomu Tahara, Takashi Seno, Gaku Narita, Tomoya Ishikawa
- Abstract要約: Retargetable ARは、さまざまな実環境に設定されたシーンコンテキストを認識したARエクスペリエンスを提供する、新しいARフレームワークである。
本研究では,AR環境のコンテキストを特徴付ける3次元シーングラフを構築した。
構築されたグラフとAR内容のコンテキストを示すARシーングラフとの対応は、意味的に登録されたコンテンツアレンジメントを提供する。
- 参考スコア(独自算出の注目度): 0.22940141855172028
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present Retargetable AR, a novel AR framework that yields
an AR experience that is aware of scene contexts set in various real
environments, achieving natural interaction between the virtual and real
worlds. To this end, we characterize scene contexts with relationships among
objects in 3D space, not with coordinates transformations. A context assumed by
an AR content and a context formed by a real environment where users experience
AR are represented as abstract graph representations, i.e. scene graphs. From
RGB-D streams, our framework generates a volumetric map in which geometric and
semantic information of a scene are integrated. Moreover, using the semantic
map, we abstract scene objects as oriented bounding boxes and estimate their
orientations. With such a scene representation, our framework constructs, in an
online fashion, a 3D scene graph characterizing the context of a real
environment for AR. The correspondence between the constructed graph and an AR
scene graph denoting the context of AR content provides a semantically
registered content arrangement, which facilitates natural interaction between
the virtual and real worlds. We performed extensive evaluations on our
prototype system through quantitative evaluation of the performance of the
oriented bounding box estimation, subjective evaluation of the AR content
arrangement based on constructed 3D scene graphs, and an online AR
demonstration. The results of these evaluations showed the effectiveness of our
framework, demonstrating that it can provide a context-aware AR experience in a
variety of real scenes.
- Abstract(参考訳): 本稿では,様々な実環境に設定されたシーンコンテキストを認識し,仮想空間と現実空間の自然な相互作用を実現するAR体験を提供する新しいARフレームワークであるRetargetable ARを提案する。
この目的のために,3次元空間内のオブジェクト間の関係を座標変換ではなく,シーンコンテキストで特徴付ける。
ARコンテンツによって想定されるコンテキストと、AR経験者が抽象グラフ表現、すなわちシーングラフとして表現される実環境によって形成されるコンテキストと。
rgb-dストリームから,シーンの幾何学的および意味的情報を統合したボリュームマップを生成する。
さらに,意味マップを用いて,向きづけられた境界ボックスとしてシーンオブジェクトを抽象化し,それらの向きを推定する。
このようなシーン表現により、我々のフレームワークは、実際のAR環境のコンテキストを特徴付ける3Dシーングラフをオンライン形式で構築する。
構築されたグラフとARコンテンツコンテキストを示すARシーングラフとの対応は、仮想世界と現実世界の自然な相互作用を促進する意味的に登録されたコンテンツアレンジメントを提供する。
本研究では,オブジェクト指向境界ボックス推定の性能評価,構築した3次元シーングラフに基づくARコンテンツアレンジメントの主観評価,およびオンラインARデモを通じて,プロトタイプシステム上で広範囲に評価を行った。
これらの評価の結果,本フレームワークの有効性が示され,様々な実シーンでコンテキスト認識AR体験を提供できることを示した。
関連論文リスト
- Multiview Scene Graph [7.460438046915524]
適切なシーン表現は、空間知性の追求の中心である。
未提示画像からマルチビューシーングラフ(MSG)を構築することを提案する。
MSGは、場所とオブジェクトノードを相互接続したシーンをトポロジ的に表現する。
論文 参考訳(メタデータ) (2024-10-15T02:04:05Z) - Go-SLAM: Grounded Object Segmentation and Localization with Gaussian Splatting SLAM [12.934788858420752]
Go-SLAMは動的環境の再構築に3DガウススティングSLAMを利用する新しいフレームワークである。
本システムは,自然言語記述によるオブジェクトの検索を容易にする。
論文 参考訳(メタデータ) (2024-09-25T13:56:08Z) - CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph
Diffusion [83.30168660888913]
シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。
パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。
生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
論文 参考訳(メタデータ) (2023-05-25T17:39:13Z) - Unsupervised Traffic Scene Generation with Synthetic 3D Scene Graphs [83.9783063609389]
本稿では,ドメイン不変シーン表現に基づくトラフィックシーンの画像をレンダリングせずに直接合成する手法を提案する。
具体的には、内部表現として合成シーングラフに依存し、現実的な交通シーン合成のための教師なしニューラルネットワークアーキテクチャを導入する。
論文 参考訳(メタデータ) (2023-03-15T09:26:29Z) - LaMAR: Benchmarking Localization and Mapping for Augmented Reality [80.23361950062302]
異種ARデバイスでキャプチャされたリアルな軌跡とセンサストリームを共登録する,包括的キャプチャとGTパイプラインを備えた新しいベンチマークであるLaMARを紹介する。
私たちは、ヘッドマウントとハンドヘルドARデバイスで記録された多様な大規模シーンのベンチマークデータセットを公開します。
論文 参考訳(メタデータ) (2022-10-19T17:58:17Z) - SOON: Scenario Oriented Object Navigation with Graph-based Exploration [102.74649829684617]
人間のように3Dエンボディ環境のどこからでも言語ガイドされたターゲットに向かって移動する能力は、インテリジェントロボットの「聖杯」目標の1つです。
ほとんどのビジュアルナビゲーションベンチマークは、ステップバイステップの詳細な命令セットに導かれ、固定された出発点から目標に向かって移動することに焦点を当てている。
このアプローチは、人間だけが物体とその周囲がどのように見えるかを説明する現実世界の問題から逸脱し、ロボットにどこからでも航行を依頼する。
論文 参考訳(メタデータ) (2021-03-31T15:01:04Z) - Reconstructing Interactive 3D Scenes by Panoptic Mapping and CAD Model
Alignments [81.38641691636847]
エンボディエージェントの観点から,シーン再構築の問題を再考する。
rgb-dデータストリームを用いてインタラクティブシーンを再構築する。
この再構成されたシーンは、密集したパノプティカルマップのオブジェクトメッシュを、部分ベースのCADモデルに置き換える。
論文 参考訳(メタデータ) (2021-03-30T05:56:58Z) - Neural Networks for Semantic Gaze Analysis in XR Settings [0.0]
本稿では,関心量の注釈に必要な時間と情報を最小化する新しい手法を提案する。
画像拡張手法を用いて,仮想モデルに基づく合成データセット上で畳み込みニューラルネットワーク(cnns)を訓練する。
本手法は実環境および仮想環境で評価し,最先端の手法と競合できることを示す。
論文 参考訳(メタデータ) (2021-03-18T18:05:01Z) - SceneGen: Generative Contextual Scene Augmentation using Scene Graph
Priors [3.1969855247377827]
SceneGenは、既存のシーン内の仮想オブジェクトの位置と方向を予測する、生成的コンテキスト拡張フレームワークである。
SceneGenはセグメンテーションされたシーンを入力として、仮想コンテンツを置くための位置と向きの確率マップを出力する。
オブジェクト, オブジェクト群, 部屋間の明確な位相特性をカプセル化した空間的シーングラフ表現を定式化する。
そこで本研究では,オブジェクトをリアルタイムに拡張可能な拡張現実アプリケーションを開発した。
論文 参考訳(メタデータ) (2020-09-25T18:36:27Z) - Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions [94.17683799712397]
我々は、グラフ内のシーンのエンティティを整理するデータ構造であるシーングラフに焦点を当てる。
本研究では,シーンの点雲からシーングラフを回帰する学習手法を提案する。
本稿では,3D-3Dおよび2D-3Dマッチングの中間表現としてグラフが機能するドメインに依存しない検索タスクにおける本手法の適用について述べる。
論文 参考訳(メタデータ) (2020-04-08T12:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。