論文の概要: Multimodal 3D Fusion and In-Situ Learning for Spatially Aware AI
- arxiv url: http://arxiv.org/abs/2410.04652v1
- Date: Sun, 6 Oct 2024 23:25:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 02:47:36.375251
- Title: Multimodal 3D Fusion and In-Situ Learning for Spatially Aware AI
- Title（参考訳）: 空間認識型AIのためのマルチモーダル3次元融合とその場学習
- Authors: Chengyuan Xu, Radha Kumaran, Noah Stier, Kangyou Yu, Tobias Höllerer,
- Abstract要約: 拡張現実における仮想世界と物理世界のシームレスな統合は、物理的な環境を意味的に「理解する」システムから恩恵を受ける。
本稿では,意味的知識と言語的知識を幾何学的表現と一体化する多モード3Dオブジェクト表現を提案する。
提案システムの有用性を,Magic Leap 2上の2つの実世界のARアプリケーションを用いて実証する:a) 自然言語を用いた物理環境における空間探索,b) 時間とともにオブジェクトの変化を追跡するインテリジェントなインベントリシステム。
- 参考スコア（独自算出の注目度）: 10.335943413484815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Seamless integration of virtual and physical worlds in augmented reality benefits from the system semantically "understanding" the physical environment. AR research has long focused on the potential of context awareness, demonstrating novel capabilities that leverage the semantics in the 3D environment for various object-level interactions. Meanwhile, the computer vision community has made leaps in neural vision-language understanding to enhance environment perception for autonomous tasks. In this work, we introduce a multimodal 3D object representation that unifies both semantic and linguistic knowledge with the geometric representation, enabling user-guided machine learning involving physical objects. We first present a fast multimodal 3D reconstruction pipeline that brings linguistic understanding to AR by fusing CLIP vision-language features into the environment and object models. We then propose "in-situ" machine learning, which, in conjunction with the multimodal representation, enables new tools and interfaces for users to interact with physical spaces and objects in a spatially and linguistically meaningful manner. We demonstrate the usefulness of the proposed system through two real-world AR applications on Magic Leap 2: a) spatial search in physical environments with natural language and b) an intelligent inventory system that tracks object changes over time. We also make our full implementation and demo data available at (https://github.com/cy-xu/spatially_aware_AI) to encourage further exploration and research in spatially aware AI.
- Abstract（参考訳）: 拡張現実における仮想世界と物理世界のシームレスな統合は、物理的な環境を意味的に「理解する」システムから恩恵を受ける。
AR研究は、コンテキスト認識の可能性に注目し、様々なオブジェクトレベルのインタラクションに3D環境におけるセマンティクスを活用する新しい能力を実証してきた。
一方、コンピュータビジョンコミュニティは、自律的なタスクに対する環境認識を強化するために、ニューラルネットワークによる理解を飛躍させた。
本研究では,幾何学的表現と意味的知識と言語的知識を一体化して,物理オブジェクトを含むユーザガイド型機械学習を実現するマルチモーダル3Dオブジェクト表現を提案する。
私たちはまず、CLIP視覚言語機能を環境とオブジェクトモデルに融合させることで、ARに言語的理解をもたらす高速なマルチモーダル3D再構築パイプラインを提示する。
次に,「in-situ」機械学習を提案する。これはマルチモーダル表現と連動して,空間的・言語的に意味のある方法で,物理空間やオブジェクトと対話するための新しいツールやインターフェースを提供する。
Magic Leap 2上の2つの現実世界のARアプリケーションを通して提案システムの有用性を実証する。
a) 自然言語と物理環境における空間探索
ロ 経時的に物の変化を追跡するインテリジェントな在庫システム
また、空間的に認識されたAIのさらなる探索と研究を促進するために、完全な実装とデモデータを(https://github.com/cy-xu/spatially_aware_AI)で利用可能にしています。
関連論文リスト
- Large Language Model-assisted Speech and Pointing Benefits Multiple 3D Object Selection in Virtual Reality [20.669785157017486]
マルチモーダル音声とレイキャストインタラクション技術を用いて,多目的選択タスクを支援するために,大規模言語モデルを活用する可能性を検討する。
その結果,導入したAssistVRは,複数の対象物が存在する場合のベースライン技術よりも優れていた。
論文 参考訳（メタデータ） (2024-10-28T14:56:51Z) - PAVLM: Advancing Point Cloud based Affordance Understanding Via Vision-Language Model [4.079327215055764]
3Dオブジェクト上で動作可能な領域を識別する作業であるアフォーマンス理解は、ロボットシステムが物理的な世界の中で関わり、操作できるようにする上で重要な役割を担っている。
視覚言語モデル(VLM)は高レベルの推論において優れているが、効果的な人間とロボットの相互作用に必要な微妙な物理的特性の把握には不十分である。
PAVLMは、事前訓練された言語モデルに埋め込まれた広範なマルチモーダル知識を利用して、ポイントクラウドの3Dアベイランス理解を強化する革新的なフレームワークである。
論文 参考訳（メタデータ） (2024-10-15T12:53:42Z) - Haptic Repurposing with GenAI [5.424247121310253]
Mixed Realityは、デジタル世界と物理的な世界を融合して、没入型人間とコンピュータのインタラクションを作ることを目指している。
本稿では,Haptic Repurposing with GenAIを紹介し,任意の物理オブジェクトをAI生成仮想アセットの適応型触覚インターフェースに変換することによってMRインタラクションを強化する革新的なアプローチを提案する。
論文 参考訳（メタデータ） (2024-06-11T13:06:28Z) - When LLMs step into the 3D World: A Survey and Meta-Analysis of 3D Tasks via Multi-modal Large Language Models [113.18524940863841]
本調査では,大規模言語モデルによる3Dデータの処理,理解,生成を可能にする方法論の概要について概説する。
我々の研究は、点雲からニューラル放射場(NeRF)まで、様々な3次元データ表現にまたがっている。
3Dシーン理解、キャプション、質問応答、対話などのタスクにおいて、LLMとの統合を検討する。
論文 参考訳（メタデータ） (2024-05-16T16:59:58Z) - Scaling Instructable Agents Across Many Simulated Worlds [70.97268311053328]
私たちのゴールは、シミュレーションされた3D環境で人間ができることを何でも達成できるエージェントを開発することです。
我々のアプローチは、最小限の仮定を示唆しながら、言語駆動の一般性に焦点を当てている。
我々のエージェントは、汎用的なヒューマンライクなインタフェースを使って、リアルタイムで環境と対話する。
論文 参考訳（メタデータ） (2024-03-13T17:50:32Z) - MultiPLY: A Multisensory Object-Centric Embodied Large Language Model in
3D World [55.878173953175356]
マルチ感覚を具現化した大規模言語モデルであるMultiPLYを提案する。
まず,500kデータからなる大規模マルチセンサインタラクションデータセットであるMultisensory Universeを収集する。
我々は,MultiPLYが多種多様な実施タスクを通じて,ベースラインを大きなマージンで上回ることを示す。
論文 参考訳（メタデータ） (2024-01-16T18:59:45Z) - Detecting Any Human-Object Interaction Relationship: Universal HOI
Detector with Spatial Prompt Learning on Foundation Models [55.20626448358655]
本研究では,ビジョン・ランゲージ(VL)基礎モデルと大規模言語モデル(LLM)を用いて,オープンワールド環境におけるユニバーサルインタラクション認識について検討する。
我々の設計にはHO Prompt-guided Decoder (HOPD) が含まれており、基礎モデルにおける高次関係表現と画像内の様々なHOペアとの結合を容易にする。
オープンカテゴリの対話認識では,対話文と解釈文の2つのタイプがサポートされている。
論文 参考訳（メタデータ） (2023-11-07T08:27:32Z) - Object Scene Representation Transformer [56.40544849442227]
オブジェクトシーン表現変換(OSRT: Object Scene Representation Transformer)は、新しいビュー合成を通じて、個々のオブジェクト表現が自然に現れる3D中心のモデルである。
OSRTは、既存のメソッドよりもオブジェクトとバックグラウンドの多様性が大きい、はるかに複雑なシーンにスケールする。
光電場パラメトリゼーションと新しいSlot Mixerデコーダのおかげで、合成レンダリングでは桁違いに高速である。
論文 参考訳（メタデータ） (2022-06-14T15:40:47Z) - FlowBot3D: Learning 3D Articulation Flow to Manipulate Articulated Objects [14.034256001448574]
そこで本研究では,様々な物体の潜在的な動きを学習して予測する視覚ベースシステムを提案する。
我々は,このベクトル場に基づく解析的運動プランナを配置し,最大調音を与えるポリシを実現する。
その結果,本システムは実世界のシミュレーション実験と実世界実験の両方において,最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2022-05-09T15:35:33Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳（メタデータ） (2020-07-09T17:33:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。