論文の概要: Generating Realistic Synthetic Head Rotation Data for Extended Reality using Deep Learning
- arxiv url: http://arxiv.org/abs/2501.09050v1
- Date: Wed, 15 Jan 2025 12:14:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-17 15:11:33.324782
- Title: Generating Realistic Synthetic Head Rotation Data for Extended Reality using Deep Learning
- Title(参考訳): 深層学習を用いた拡張現実感のためのリアルな合成頭部回転データの生成
- Authors: Jakob Struye, Filip Lemic, Jeroen Famaey,
- Abstract要約: 我々は、よく知られたジェネレーティブ・アドバイサル・ネットワークの拡張であるTimeGANに基づくヘッドローテーション・時系列生成器を提案する。
このアプローチは、測定された時系列の分布と密接に一致する新しいサンプルで、ヘッドローテーションのデータセットを拡張することができる。
- 参考スコア(独自算出の注目度): 12.131070527836005
- License:
- Abstract: Extended Reality is a revolutionary method of delivering multimedia content to users. A large contributor to its popularity is the sense of immersion and interactivity enabled by having real-world motion reflected in the virtual experience accurately and immediately. This user motion, mainly caused by head rotations, induces several technical challenges. For instance, which content is generated and transmitted depends heavily on where the user is looking. Seamless systems, taking user motion into account proactively, will therefore require accurate predictions of upcoming rotations. Training and evaluating such predictors requires vast amounts of orientational input data, which is expensive to gather, as it requires human test subjects. A more feasible approach is to gather a modest dataset through test subjects, and then extend it to a more sizeable set using synthetic data generation methods. In this work, we present a head rotation time series generator based on TimeGAN, an extension of the well-known Generative Adversarial Network, designed specifically for generating time series. This approach is able to extend a dataset of head rotations with new samples closely matching the distribution of the measured time series.
- Abstract(参考訳): Extended Realityは、マルチメディアコンテンツをユーザに届ける革命的な方法だ。
その人気に大きく貢献しているのが、バーチャル体験に正確に正確に反映された現実世界の動きを実現できる没入感と対話性である。
このユーザの動きは、主に頭部回転によって引き起こされ、いくつかの技術的課題を引き起こす。
例えば、どのコンテンツが生成され、送信されるかは、ユーザがどこに見ているかに大きく依存します。
シームレスシステムは、ユーザの動きを積極的に考慮し、今後の回転の正確な予測を必要とする。
このような予測器の訓練と評価には膨大な指向性入力データが必要である。
より実現可能なアプローチは、テスト対象を通して控えめなデータセットを収集し、合成データ生成方法を使用して、より大きなデータセットに拡張することである。
本稿では,時系列生成に特化して設計された,有名なジェネレーティブ・アドバーサリアル・ネットワークの拡張であるTimeGANに基づく頭部回転時系列生成手法を提案する。
このアプローチは、測定された時系列の分布と密接に一致する新しいサンプルで、ヘッドローテーションのデータセットを拡張することができる。
関連論文リスト
- RPS: A Generic Reservoir Patterns Sampler [1.09784964592609]
本稿では,ストリーミングバッチデータからの直接パターンサンプリングを容易にするために,重み付き貯水池を利用する手法を提案する。
本稿では、時間的バイアスに対処し、逐次的、重み付け、および非重み付けを含む様々なパターンタイプを処理できる汎用アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-10-31T16:25:21Z) - MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。
具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。
実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
論文 参考訳(メタデータ) (2024-08-15T02:29:00Z) - Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
我々は,過去を前提とした将来のセンサ観測の課題を探求する。
マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。
我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
論文 参考訳(メタデータ) (2024-04-17T16:56:31Z) - On the Resurgence of Recurrent Models for Long Sequences -- Survey and
Research Opportunities in the Transformer Era [59.279784235147254]
この調査は、Recurrenceの統一の傘の下に構築されたこれらのトレンドの概要を提供することを目的としている。
長いシーケンスを処理するという考え方を捨てる際に顕著になる新しい研究機会を強調している。
論文 参考訳(メタデータ) (2024-02-12T23:55:55Z) - Fast Non-Rigid Radiance Fields from Monocularized Data [66.74229489512683]
本稿では,不規則に変形するシーンを360度内向きに合成する新しい手法を提案する。
提案手法のコアとなるのは, 空間情報と時間情報の処理を分離し, 訓練と推論を高速化する効率的な変形モジュール, 2) 高速ハッシュ符号化ニューラルラジオアンスフィールドとしての標準シーンを表す静的モジュールである。
どちらの場合も,本手法は従来の手法よりもはるかに高速で,7分未満で収束し,1K解像度でリアルタイムのフレームレートを実現するとともに,生成した新規なビューに対して高い視覚的精度が得られる。
論文 参考訳(メタデータ) (2022-12-02T18:51:10Z) - Palm up: Playing in the Latent Manifold for Unsupervised Pretraining [31.92145741769497]
本稿では,多種多様なデータセットを使用しながら探索行動を示すアルゴリズムを提案する。
私たちのキーとなるアイデアは、静的データセットに事前トレーニングされた深層生成モデルを活用し、潜在空間に動的モデルを導入することです。
次に、教師なし強化学習アルゴリズムを用いて、この環境を探索し、収集したデータに基づいて教師なし表現学習を行う。
論文 参考訳(メタデータ) (2022-10-19T22:26:12Z) - Towards Generating Real-World Time Series Data [52.51620668470388]
時系列データ生成のための新しい生成フレームワーク - RTSGANを提案する。
RTSGANは、時系列インスタンスと固定次元潜在ベクトルの間のマッピングを提供するエンコーダデコーダモジュールを学習する。
不足した値の時系列を生成するために、RTSGANに観測埋め込み層と決定・生成デコーダを更に装備する。
論文 参考訳(メタデータ) (2021-11-16T11:31:37Z) - The Imaginative Generative Adversarial Network: Automatic Data
Augmentation for Dynamic Skeleton-Based Hand Gesture and Human Action
Recognition [27.795763107984286]
本稿では、入力データの分布を近似し、この分布から新しいデータをサンプリングする新しい自動データ拡張モデルを提案する。
以上の結果から,拡張戦略は訓練が高速であり,ニューラルネットワークと最先端手法の両方の分類精度を向上させることが可能であることが示唆された。
論文 参考訳(メタデータ) (2021-05-27T11:07:09Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-10-16T12:36:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。