論文の概要: BOXR: Body and head motion Optimization framework for eXtended Reality

• arxiv url: http://arxiv.org/abs/2410.13084v1
• Date: Wed, 16 Oct 2024 23:01:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:18:08.564046
• Title: BOXR: Body and head motion Optimization framework for eXtended Reality
• Title（参考訳）: BOXR:eXtended Realityのための身体・頭部運動最適化フレームワーク
• Authors: Ziliang Zhang, Zexin Li, Hyoseung Kim, Cong Liu,
• Abstract要約: 身体の動きによる遅延をキャプチャするC2Dレイテンシメトリックを導入する。 BoxRは、XRシステム内での身体と頭部の動作遅延を協調最適化するように設計されたフレームワークである。 BoxRは、3つのハードウェアプラットフォームで4つのXRアプリケーションにまたがる11のEuRoC MAVデータセットにおいて、最先端のソリューションを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 6.761272083445313
• License:
• Abstract: The emergence of standalone XR systems has enhanced user mobility, accommodating both subtle, frequent head motions and substantial, less frequent body motions. However, the pervasively used M2D latency metric, which measures the delay between the most recent motion and its corresponding display update, only accounts for head motions. This oversight can leave users prone to motion sickness if significant body motion is involved. Although existing methods optimize M2D latency through asynchronous task scheduling and reprojection methods, they introduce challenges like resource contention between tasks and outdated pose data. These challenges are further complicated by user motion dynamics and scene changes during runtime. To address these issues, we for the first time introduce the C2D latency metric, which captures the delay caused by body motions, and present BOXR, a framework designed to co-optimize both body and head motion delays within an XR system. BOXR enhances the coordination between M2D and C2D latencies by efficiently scheduling tasks to avoid contentions while maintaining an up-to-date pose in the output frame. Moreover, BOXR incorporates a motion-driven visual inertial odometer to adjust to user motion dynamics and employs scene-dependent foveated rendering to manage changes in the scene effectively. Our evaluations show that BOXR significantly outperforms state-of-the-art solutions in 11 EuRoC MAV datasets across 4 XR applications across 3 hardware platforms. In controlled motion and scene settings, BOXR reduces M2D and C2D latencies by up to 63% and 27%, respectively and increases frame rate by up to 43%. In practical deployments, BOXR achieves substantial reductions in real-world scenarios up to 42% in M2D latency and 31% in C2D latency while maintaining remarkably low miss rates of only 1.6% for M2D requirements and 1.0% for C2D requirements.
• Abstract（参考訳）: スタンドアロンXRシステムの出現は、ユーザーのモビリティを高め、微妙で頻繁な頭部の動きと、実質的で頻繁な身体の動きの両方を調節した。 しかし、最新の動きとそれに対応する表示更新の間の遅延を測定するために広く使われているM2Dレイテンシメトリックは、頭部の動きのみを考慮に入れている。 この監視は、重要な身体の動きが関与すれば、ユーザーが病気を起こさないようにする。 既存の手法では、非同期タスクスケジューリングと再プロジェクションによってM2Dレイテンシを最適化しているが、タスク間のリソース競合や時代遅れのポーズデータといった課題が導入されている。 これらの課題は、実行中のユーザの動作ダイナミクスやシーン変更によってさらに複雑になります。 これらの問題に対処するために、初めて身体の動きによる遅延を捉えるC2Dレイテンシメトリックを導入し、XRシステム内での身体と頭部の動作遅延を協調最適化するフレームワークであるBOXRを紹介した。 BOXRは、出力フレームの最新のポーズを維持しながら競合を避けるためにタスクを効率的にスケジューリングすることで、M2DとC2Dのレイテンシの調整を強化する。 さらに、BOXRはモーション駆動型視覚慣性オドメータを内蔵し、ユーザの動き力学に適応し、シーン依存のファベレーテッドレンダリングを用いてシーンの変化を効果的に管理する。 評価の結果,BOXRは3つのハードウェアプラットフォームにまたがる4つのXRアプリケーションにまたがる11個のEuRoC MAVデータセットにおいて,最先端のソリューションを著しく上回っていることがわかった。 制御されたモーションとシーン設定では、BOXRはM2DとC2Dのレイテンシを最大63%と27%に削減し、フレームレートを最大43%向上させる。 実際のデプロイでは、BOXRはM2Dのレイテンシが42%、C2Dのレイテンシが31%まで大幅に削減され、M2Dの要件はわずか1.6%、C2Dの要件は1.0%と著しく低いミス率を維持している。

関連論文リスト

• Motion Mamba: Efficient and Long Sequence Motion Generation [26.777455596989526]
  状態空間モデル(SSM)の最近の進歩は、長いシーケンスモデリングにおいてかなりの可能性を秘めている。 我々は,SSMを用いた先駆的な動き生成モデルを示す,シンプルで効率的な手法であるモーション・マンバを提案する。 提案手法は,HumanML3DおよびKIT-MLデータセットの最大50%のFID改善と最大4倍の高速化を実現する。
  論文  参考訳（メタデータ） (2024-03-12T10:25:29Z)
• DivaTrack: Diverse Bodies and Motions from Acceleration-Enhanced Three-Point Trackers [13.258923087528354]
  フルボディアバターの存在は、デジタルリアリティーにおける没入型社会と環境の相互作用に不可欠である。 現在のデバイスは、ヘッドセットと2つのコントローラーから3度の自由度(DOF)のポーズしか提供していない。 本研究では,多様な身体サイズや活動に適用した場合に,既存の手法よりも優れたディープラーニングフレームワークであるDivaTrackを提案する。
  論文  参考訳（メタデータ） (2024-02-14T14:46:03Z)
• UCMCTrack: Multi-Object Tracking with Uniform Camera Motion Compensation [9.333052173412158]
  カメラの動きに頑健な新しいモーションモデルベースのトラッカーであるUCMCTrackを紹介する。 フレーム単位で補償パラメータを計算する従来のCMCとは異なり、UCMCTrackはビデオシーケンスを通して同じ補償パラメータを一貫して適用する。 MOT17、MOT20、DanceTrack、KITTIなど、さまざまな課題のあるデータセットで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-12-14T14:01:35Z)
• Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter Correction [54.00007868515432]
  既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。 本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。 提案手法は,Carla-RS,Fastec-RS,BS-RSCの各データセット上で,PSNRの+4.98,+0.77,+4.33を超える。
  論文  参考訳（メタデータ） (2023-03-31T15:09:18Z)
• MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
  そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。 モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
  論文  参考訳（メタデータ） (2021-12-19T07:52:05Z)
• Blind Motion Deblurring Super-Resolution: When Dynamic Spatio-Temporal Learning Meets Static Image Understanding [87.5799910153545]
  シングルイメージ超解像(SR)とマルチフレームSR(SR)は、低解像度画像を超解する2つの方法である。 単一静止画像から動的時間情報を学習するために, ブラインド・モーション・デブロアリング・スーパー・レゾリューション・ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-05-27T11:52:45Z)
• Learning Comprehensive Motion Representation for Action Recognition [124.65403098534266]
  2d cnnベースのメソッドは効率的であるが、各フレームに同じ2d畳み込みカーネルを適用することで冗長な機能が得られる。 最近の試みは、フレーム間接続を確立しながら、時間的受容野や高いレイテンシに苦しめながら、動き情報をキャプチャしようとするものである。 チャネルワイズゲートベクトルを用いた動的情報に関連するチャネルを適応的に強調するCME(Channel-wise Motion Enhancement)モジュールを提案する。 また,近接する特徴写像の点対点類似性に応じて,重要な目標を持つ領域に焦点をあてる空間的運動強調(SME)モジュールを提案する。
  論文  参考訳（メタデータ） (2021-03-23T03:06:26Z)
• Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
  本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。 2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。 本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-11T04:20:30Z)
• MAT: Motion-Aware Multi-Object Tracking [9.098793914779161]
  本稿では,様々な物体の動作パターンに着目した動き認識トラッキング(MAT)を提案する。 MOT16とMOT17の挑戦的なベンチマークの実験は、我々のMATアプローチが大きなマージンで優れたパフォーマンスを達成することを実証している。
  論文  参考訳（メタデータ） (2020-09-10T11:51:33Z)
• Motion Guided 3D Pose Estimation from Videos [81.14443206968444]
  本研究では,2次元ポーズから1次元の人物ポーズ推定を行う問題に対して,運動損失と呼ばれる新たな損失関数を提案する。 運動損失の計算では、ペアワイズ・モーション・エンコーディング(ペアワイズ・モーション・エンコーディング)と呼ばれる単純なキーポイント・モーションの表現が導入された。 UGCN(U-shaped GCN)と呼ばれる新しいグラフ畳み込みネットワークアーキテクチャを設計し,短期および長期の動作情報の両方をキャプチャする。
  論文  参考訳（メタデータ） (2020-04-29T06:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。