論文の概要: From Voices to Worlds: Developing an AI-Powered Framework for 3D Object Generation in Augmented Reality

• arxiv url: http://arxiv.org/abs/2503.16474v1
• Date: Tue, 04 Mar 2025 06:31:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-30 08:29:34.531575
• Title: From Voices to Worlds: Developing an AI-Powered Framework for 3D Object Generation in Augmented Reality
• Title（参考訳）: 音声から世界へ:拡張現実における3Dオブジェクト生成のためのAI駆動フレームワークの開発
• Authors: Majid Behravan, Denis Gracanin,
• Abstract要約: MatrixはAugmented Reality(AR)環境でリアルタイム3Dオブジェクト生成用に設計された高度なAIベースのフレームワークである。 最先端のテキストから3D生成AIモデル,多言語音声からテキストへの翻訳,および大規模言語モデルを統合することで,音声コマンドによるシームレスなユーザインタラクションを実現する。
• 参考スコア（独自算出の注目度）: 0.7388329684634598
• License:
• Abstract: This paper presents Matrix, an advanced AI-powered framework designed for real-time 3D object generation in Augmented Reality (AR) environments. By integrating a cutting-edge text-to-3D generative AI model, multilingual speech-to-text translation, and large language models (LLMs), the system enables seamless user interactions through spoken commands. The framework processes speech inputs, generates 3D objects, and provides object recommendations based on contextual understanding, enhancing AR experiences. A key feature of this framework is its ability to optimize 3D models by reducing mesh complexity, resulting in significantly smaller file sizes and faster processing on resource-constrained AR devices. Our approach addresses the challenges of high GPU usage, large model output sizes, and real-time system responsiveness, ensuring a smoother user experience. Moreover, the system is equipped with a pre-generated object repository, further reducing GPU load and improving efficiency. We demonstrate the practical applications of this framework in various fields such as education, design, and accessibility, and discuss future enhancements including image-to-3D conversion, environmental object detection, and multimodal support. The open-source nature of the framework promotes ongoing innovation and its utility across diverse industries.
• Abstract（参考訳）: 本稿では,Augmented Reality(AR)環境におけるリアルタイム3Dオブジェクト生成のために設計された,AIを活用した高度なフレームワークであるMatrixについて述べる。 最先端のテキストから3D生成AIモデル,多言語音声からテキストへの翻訳,および大規模言語モデル(LLM)を統合することで,音声コマンドによるシームレスなユーザインタラクションを実現する。 このフレームワークは、音声入力を処理し、3Dオブジェクトを生成し、コンテキスト理解に基づいたオブジェクトレコメンデーションを提供し、AR体験を向上する。 このフレームワークの重要な特徴は、メッシュの複雑さを減らし、3Dモデルを最適化できることで、ファイルサイズが大幅に小さくなり、リソース制約のARデバイスでの処理が高速化される。 当社のアプローチでは,GPU使用率の向上,大規模モデル出力サイズ,リアルタイムシステムの応答性といった課題に対処し,ユーザエクスペリエンスの円滑化を実現している。 さらに、プリ生成されたオブジェクトレポジトリを備え、GPU負荷をさらに削減し、効率を向上する。 本稿では, 教育, 設計, アクセシビリティといった様々な分野において, このフレームワークの実践的応用を実証し, 画像から3次元変換, 環境オブジェクトの検出, マルチモーダルサポートなど, 今後の拡張について論じる。 このフレームワークのオープンソースの性質は、さまざまな産業で進行中のイノベーションと実用性を促進する。

関連論文リスト

• Multimodal 3D Fusion and In-Situ Learning for Spatially Aware AI [10.335943413484815]
  拡張現実における仮想世界と物理世界のシームレスな統合は、物理的な環境を意味的に「理解する」システムから恩恵を受ける。 本稿では,意味的知識と言語的知識を幾何学的表現と一体化する多モード3Dオブジェクト表現を提案する。 提案システムの有用性を,Magic Leap 2上の2つの実世界のARアプリケーションを用いて実証する:a) 自然言語を用いた物理環境における空間探索,b) 時間とともにオブジェクトの変化を追跡するインテリジェントなインベントリシステム。
  論文  参考訳（メタデータ） (2024-10-06T23:25:21Z)
• Articulate-Anything: Automatic Modeling of Articulated Objects via a Vision-Language Foundation Model [35.184607650708784]
  Articulate-Anythingは、テキスト、画像、ビデオを含む多くの入力モダリティから、多種多様な複雑なオブジェクトの明瞭化を自動化する。 本システムでは,メッシュ検索機構を通じて既存の3Dデータセットを,反復的に提案,評価,洗練を行うアクタ・クリティカル・システムとともに活用する。
  論文  参考訳（メタデータ） (2024-10-03T19:42:16Z)
• Coral Model Generation from Single Images for Virtual Reality Applications [22.18438294137604]
  本稿では,1つの画像から高精度な3次元サンゴモデルを生成するディープラーニングフレームワークを提案する。 このプロジェクトには、AI生成モデルをインタラクティブな"アートワーク"に変換するための説明可能なAI(XAI)が組み込まれている。
  論文  参考訳（メタデータ） (2024-09-04T01:54:20Z)
• DiffTF++: 3D-aware Diffusion Transformer for Large-Vocabulary 3D Generation [53.20147419879056]
  拡散型フィードフォワードフレームワークを導入し,単一モデルで課題に対処する。 TransFormerを用いた3D対応拡散モデルを構築し,より強力な3D生成,すなわちDiffTF++を提案する。 ShapeNetとOmniObject3Dの実験は、提案したモジュールの有効性を確実に実証している。
  論文  参考訳（メタデータ） (2024-05-13T17:59:51Z)
• VolumeDiffusion: Flexible Text-to-3D Generation with Efficient Volumetric Encoder [56.59814904526965]
  本稿では,テキストから3D生成のための先駆的な3Dエンコーダを提案する。 マルチビュー画像から特徴ボリュームを効率よく取得する軽量ネットワークを開発した。 3Dボリュームは、3D U-Netを使用してテキストから3D生成のための拡散モデルに基づいて訓練される。
  論文  参考訳（メタデータ） (2023-12-18T18:59:05Z)
• Federated Multi-View Synthesizing for Metaverse [52.59476179535153]
  メタバースは没入型エンターテイメント、教育、ビジネスアプリケーションを提供すると期待されている。 無線ネットワーク上のバーチャルリアリティ(VR)伝送は、データと計算集約である。 我々は,メタバースにおける無線コンテンツ配信のために,効率的な合成,記憶,通信資源を提供する,新しい多視点合成フレームワークを開発した。
  論文  参考訳（メタデータ） (2023-12-18T13:51:56Z)
• Conditional Generative Modeling for Images, 3D Animations, and Video [4.422441608136163]
  コンピュータビジョンのための生成モデリングの分野における革新を推進しようとする論文。 研究は、ノイズと視覚データの変換を提供するアーキテクチャと、生成タスクや3Dコンテンツ操作にエンコーダ・デコーダアーキテクチャを適用することに焦点を当てている。
  論文  参考訳（メタデータ） (2023-10-19T21:10:39Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• Pushing the Limits of 3D Shape Generation at Scale [65.24420181727615]
  我々は、前例のない次元に拡大することで、3次元形状生成において画期的なブレークスルーを示す。 現在までに最大の3次元形状生成モデルとしてArgus-3Dが確立されている。
  論文  参考訳（メタデータ） (2023-06-20T13:01:19Z)
• Object Scene Representation Transformer [56.40544849442227]
  オブジェクトシーン表現変換(OSRT: Object Scene Representation Transformer)は、新しいビュー合成を通じて、個々のオブジェクト表現が自然に現れる3D中心のモデルである。 OSRTは、既存のメソッドよりもオブジェクトとバックグラウンドの多様性が大きい、はるかに複雑なシーンにスケールする。 光電場パラメトリゼーションと新しいSlot Mixerデコーダのおかげで、合成レンダリングでは桁違いに高速である。
  論文  参考訳（メタデータ） (2022-06-14T15:40:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。