論文の概要: Mutual Scene Synthesis for Mixed Reality Telepresence

• arxiv url: http://arxiv.org/abs/2204.00161v1
• Date: Fri, 1 Apr 2022 02:08:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-04 13:51:43.441385
• Title: Mutual Scene Synthesis for Mixed Reality Telepresence
• Title（参考訳）: 複合現実テレプレゼンスのための相互シーン合成
• Authors: Mohammad Keshavarzi, Michael Zollhoefer, Allen Y. Yang, Patrick Peluse, Luisa Caldas
• Abstract要約: 混合現実テレプレゼンス(Mixed Reality Telepresence)により、参加者は2Dスクリーンベースのコミュニケーション方法では以前は不可能だった幅広い活動に参加することができる。 本稿では,参加者の空間を入力として捉え,各参加者の局所的な空間の機能に対応する仮想合成シーンを生成する,新たな相互シーン合成手法を提案する。 本手法は,相互関数最適化モジュールと深層学習条件付きシーン拡張プロセスを組み合わせることで,複合現実テレプレゼンスシナリオの全参加者に対して相互に,物理的にアクセス可能なシーンを生成する。
• 参考スコア（独自算出の注目度）: 4.504833177846264
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Remote telepresence via next-generation mixed reality platforms can provide higher levels of immersion for computer-mediated communications, allowing participants to engage in a wide spectrum of activities, previously not possible in 2D screen-based communication methods. However, as mixed reality experiences are limited to the local physical surrounding of each user, finding a common virtual ground where users can freely move and interact with each other is challenging. In this paper, we propose a novel mutual scene synthesis method that takes the participants' spaces as input, and generates a virtual synthetic scene that corresponds to the functional features of all participants' local spaces. Our method combines a mutual function optimization module with a deep-learning conditional scene augmentation process to generate a scene mutually and physically accessible to all participants of a mixed reality telepresence scenario. The synthesized scene can hold mutual walkable, sittable and workable functions, all corresponding to physical objects in the users' real environments. We perform experiments using the MatterPort3D dataset and conduct comparative user studies to evaluate the effectiveness of our system. Our results show that our proposed approach can be a promising research direction for facilitating contextualized telepresence systems for next-generation spatial computing platforms.
• Abstract（参考訳）: 次世代の複合現実プラットフォームによるリモートテレプレゼンスは、コンピュータを媒介とするコミュニケーションにおいてより高いレベルの没入性を提供し、参加者がこれまで2dスクリーンベースのコミュニケーションでは不可能だった幅広い活動に関わることができる。 しかし、複合現実体験は各ユーザの物理的環境に限定されているため、ユーザが自由に動き、対話できる共通のバーチャルグラウンドを見つけることは困難である。 本稿では,参加者の空間を入力とする新たな相互シーン合成手法を提案し,各参加者の局所空間の機能的特徴に対応する仮想合成シーンを生成する。 本手法は,相互関数最適化モジュールと深層学習条件付きシーン拡張プロセスを組み合わせることで,複合現実テレプレゼンスシナリオの全参加者に対して相互に物理的にアクセス可能なシーンを生成する。 合成されたシーンは、お互いの歩行可能、座位可能、作業可能な機能を保持でき、すべてがユーザの実際の環境内の物理的オブジェクトに対応する。 我々はmatterport3dデータセットを用いて実験を行い,本システムの有効性を評価するために比較ユーザ調査を行う。 提案手法は,次世代空間コンピューティングプラットフォームにおいて,コンテキスト化されたテレプレゼンスシステムを実現するための有望な研究方向性であることを示す。

関連論文リスト

• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• Autonomous Character-Scene Interaction Synthesis from Text Instruction [45.255215402142596]
  そこで本研究では,単一テキスト命令と目標位置から直接,多段階のシーン認識インタラクション動作を合成するフレームワークを提案する。 提案手法では,次の動作セグメントを自動回帰拡散モデルで合成し,各動作ステージの遷移を予測する自律スケジューラを用いる。 本稿では,40種類の動作を含む120の屋内シーンにおいて,16時間の動作シーケンスからなる総合的な動きキャプチャーデータセットについて述べる。
  論文  参考訳（メタデータ） (2024-10-04T06:58:45Z)
• PhyScene: Physically Interactable 3D Scene Synthesis for Embodied AI [38.03745740636854]
  PhySceneは、リアルなレイアウト、明瞭なオブジェクト、エンボディエージェントに適したリッチな物理的相互作用によって特徴付けられるインタラクティブな3Dシーンを生成するための方法である。 我々はPhySceneがこれらの誘導関数を物理的に相互作用可能なシーン合成に有効に利用し、既存の最先端シーン合成方法よりも大きなマージンで優れていることを示した。
  論文  参考訳（メタデータ） (2024-04-15T05:29:23Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• ASSIST: Interactive Scene Nodes for Scalable and Realistic Indoor Simulation [17.34617771579733]
  本稿では、合成および現実的なシミュレーションのためのパノプティクス表現として、オブジェクト指向神経放射場であるASSISTを提案する。 各オブジェクトの情報を統一的に格納する新しいシーンノードデータ構造は、イントラシーンとクロスシーンの両方でオンラインインタラクションを可能にする。
  論文  参考訳（メタデータ） (2023-11-10T17:56:43Z)
• Unified Human-Scene Interaction via Prompted Chain-of-Contacts [61.87652569413429]
  HSI(Human-Scene Interaction)は、AIや仮想現実といった分野において重要なコンポーネントである。 本稿では,言語コマンドによる多様なインタラクションの統一制御を支援する統一型HSIフレームワークUniHSIを提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:59:49Z)
• Systematic Adaptation of Communication-focused Machine Learning Models from Real to Virtual Environments for Human-Robot Collaboration [1.392250707100996]
  本稿では,仮想データセットのサイズを限定した,リアルから仮想への適応のための体系的フレームワークを提案する。 実世界の多くの研究とその後の商業化のトピックである手振り認識は、大きなラベル付きデータセットの作成によって可能になった。
  論文  参考訳（メタデータ） (2023-07-21T03:24:55Z)
• Synthesizing Diverse Human Motions in 3D Indoor Scenes [16.948649870341782]
  そこで本研究では,仮想人間による3次元屋内シーンの映像化手法を提案する。 既存のアプローチは、キャプチャーされた人間の動きと、それらが相互作用する3Dシーンを含むトレーニングシーケンスに依存している。 仮想人間が3Dシーンをナビゲートし、現実的かつ自律的にオブジェクトと対話できる強化学習ベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-21T09:22:24Z)
• Synthesizing Physical Character-Scene Interactions [64.26035523518846]
  仮想キャラクタとその周辺環境間のこのような相互作用を合成する必要がある。 本稿では,逆模倣学習と強化学習を用いて物理シミュレーション文字を学習するシステムを提案する。 我々のアプローチは、物理学に基づくキャラクターモーション生成を広い適用性に一歩近づいた。
  論文  参考訳（メタデータ） (2023-02-02T05:21:32Z)
• iGibson, a Simulation Environment for Interactive Tasks in Large Realistic Scenes [54.04456391489063]
  iGibsonは、大規模な現実的なシーンにおける対話的なタスクのためのロボットソリューションを開発するための、新しいシミュレーション環境である。 私たちの環境には、厳密で明瞭な物体が密集した15のインタラクティブなホームサイズシーンが含まれています。 iGibsonの機能はナビゲーションエージェントの一般化を可能にし、人間-iGibsonインターフェースと統合されたモーションプランナーは、単純な人間の実演行動の効率的な模倣学習を促進する。
  論文  参考訳（メタデータ） (2020-12-05T02:14:17Z)
• SPA: Verbal Interactions between Agents and Avatars in Shared Virtual Environments using Propositional Planning [61.335252950832256]
  SPA(Sense-Plan-Ask)は、仮想的な仮想環境において、仮想的な人間のようなエージェントとユーザアバターの間の言語的対話を生成する。 提案アルゴリズムは実行時コストを小さくし,自然言語通信を利用せずにエージェントよりも効率的に目標を達成できることが判明した。
  論文  参考訳（メタデータ） (2020-02-08T23:15:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。