論文の概要: Expression-aware video inpainting for HMD removal in XR applications
- arxiv url: http://arxiv.org/abs/2401.14136v1
- Date: Thu, 25 Jan 2024 12:32:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 14:44:43.489902
- Title: Expression-aware video inpainting for HMD removal in XR applications
- Title（参考訳）: XRアプリケーションにおけるHMD除去のための表現認識ビデオインペインティング
- Authors: Fatemeh Ghorbani Lohesara, Karen Egiazarian, Sebastian Knorr
- Abstract要約: ヘッドマウントディスプレイ(HMD)は、拡張現実(XR)環境と仮想コンテンツを観察するために必要なデバイスとして機能する。
HMDは、ユーザの上面をブロックする外部記録技術に障害を与える。
GAN(Generative Adversarial Network)に基づくHMD除去のための表現認識型ビデオインペインティングのための新しいネットワークを提案する。
- 参考スコア（独自算出の注目度）: 0.27624021966289597
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Head-mounted displays (HMDs) serve as indispensable devices for observing
extended reality (XR) environments and virtual content. However, HMDs present
an obstacle to external recording techniques as they block the upper face of
the user. This limitation significantly affects social XR applications,
specifically teleconferencing, where facial features and eye gaze information
play a vital role in creating an immersive user experience. In this study, we
propose a new network for expression-aware video inpainting for HMD removal
(EVI-HRnet) based on generative adversarial networks (GANs). Our model
effectively fills in missing information with regard to facial landmarks and a
single occlusion-free reference image of the user. The framework and its
components ensure the preservation of the user's identity across frames using
the reference frame. To further improve the level of realism of the inpainted
output, we introduce a novel facial expression recognition (FER) loss function
for emotion preservation. Our results demonstrate the remarkable capability of
the proposed framework to remove HMDs from facial videos while maintaining the
subject's facial expression and identity. Moreover, the outputs exhibit
temporal consistency along the inpainted frames. This lightweight framework
presents a practical approach for HMD occlusion removal, with the potential to
enhance various collaborative XR applications without the need for additional
hardware.
- Abstract（参考訳）: ヘッドマウントディスプレイ(HMD)は、拡張現実(XR)環境と仮想コンテンツを観察するために必要なデバイスとして機能する。
しかし、HMDは、ユーザの上面をブロックする外部記録技術に障害を与える。
この制限はソーシャルXRアプリケーション、特に遠隔会議に大きく影響し、顔の特徴と視線情報が没入感のあるユーザーエクスペリエンスを生み出す上で重要な役割を果たす。
本研究では,ジェネレーティブ・ディベサール・ネットワーク(GAN)に基づく,HMD除去のための表現認識型ビデオインペインティング(EVI-HRnet)のための新しいネットワークを提案する。
本モデルでは,ユーザの顔ランドマークと1つのオクルージョンフリー参照画像について,欠損情報を効果的に埋め込む。
フレームワークとそのコンポーネントは、参照フレームを使用したフレーム間のユーザのアイデンティティの保存を保証する。
入力された出力のリアリズムのレベルをさらに高めるため、感情保存のための新しい表情認識(fer)損失機能を導入する。
本研究は,被験者の表情とアイデンティティを保ちながら,顔映像からHMDを除去するフレームワークの顕著な能力を示すものである。
さらに、出力は、塗装されたフレームに沿って時間的一貫性を示す。
この軽量フレームワークはhmd閉塞除去のための実用的なアプローチを示し、追加のハードウェアを必要とせずに様々な協調型xrアプリケーションを強化する可能性を秘めている。
関連論文リスト
- OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。
顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。
その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文 参考訳（メタデータ） (2024-11-26T07:07:48Z) - Reconstructive Visual Instruction Tuning [64.91373889600136]
リコンストラクティブ・ビジュアル・インストラクション・チューニング(ROSS)は、視覚中心の監視信号を利用する大型マルチモーダル・モデル(LMM)のファミリーである。
入力画像の潜在表現を再構成し、正確なRGB値を直接回帰するのを避ける。
経験的に、ROSSは、異なるビジュアルエンコーダと言語モデルに対して、一貫して大幅に改善されている。
論文 参考訳（メタデータ） (2024-10-12T15:54:29Z) - Towards Realistic Landmark-Guided Facial Video Inpainting Based on GANs [0.27624021966289597]
そこで本研究では,表現型ビデオインパインティングのためのネットワークを提案する。
GAN(Generative Adversarial Network)を使用して、すべてのフレームにまたがる静的および移動オクルージョンを処理する。
我々はさらに、カスタマイズされた表情認識(FER)損失関数により感情の保存を強化し、詳細なインペイント出力を確保する。
論文 参考訳（メタデータ） (2024-02-14T11:20:47Z) - From Static to Dynamic: Adapting Landmark-Aware Image Models for Facial Expression Recognition in Videos [88.08209394979178]
野生における動的表情認識(DFER)は、データ制限によって依然として妨げられている。
抽出された顔のランドマーク認識機能に暗黙的に符号化された既存のSFER知識と動的情報を活用する新しい静的・動的モデル(S2D)を提案する。
論文 参考訳（メタデータ） (2023-12-09T03:16:09Z) - Implicit Identity Representation Conditioned Memory Compensation Network
for Talking Head video Generation [16.66038865012963]
対話型ヘッドビデオ生成は静止画像中の人間の顔を動的ポーズと動き情報を用いた表情でアニメーションすることを目的としている。
それでもソース画像は、隠された領域や微妙な表現のバリエーションに対して十分な外観情報を提供できない。
MCNetと呼ばれる暗黙的同一性表現条件付きメモリ補償ネットワークを,高忠実度音声ヘッド生成のために提案する。
論文 参考訳（メタデータ） (2023-07-19T11:10:26Z) - Interactive Face Video Coding: A Generative Compression Framework [18.26476468644723]
本稿では,対話型顔映像符号化(IFVC)のための新しいフレームワークを提案する。
提案手法には,超コンパクト表現,低遅延相互作用,鮮明な表現と主目的アニメーションなど,いくつかの利点がある。
論文 参考訳（メタデータ） (2023-02-20T11:24:23Z) - Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。
まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。
そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:05:47Z) - Attention based Occlusion Removal for Hybrid Telepresence Systems [5.006086647446482]
本稿では,HMDデクルージョンのための新しいアテンション対応エンコーダデコーダアーキテクチャを提案する。
我々は,最先端手法よりも質的,定量的な結果が優れていることを報告した。
また,既存のアニメーションと3次元顔再構成パイプラインを用いたハイブリッドビデオ会議への本手法の適用について述べる。
論文 参考訳（メタデータ） (2021-12-02T10:18:22Z) - Unmasking Communication Partners: A Low-Cost AI Solution for Digitally
Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である
過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。
我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
論文 参考訳（メタデータ） (2020-11-06T23:17:12Z) - Augment Yourself: Mixed Reality Self-Augmentation Using Optical
See-through Head-mounted Displays and Physical Mirrors [49.49841698372575]
光シークレットヘッドマウントディスプレイ(OST HMD)は、仮想オブジェクトと物理シーンを融合して、没入型複合現実(MR)環境をユーザに提供するための重要な技術のひとつです。
我々は,OST HMDと物理ミラーを組み合わせて自己拡張を実現し,ユーザを中心とした没入型MR環境を提供する,新しいコンセプトとプロトタイプシステムを提案する。
我々のシステムでは、まず第一に、HMDに取り付けられたRGBDカメラを用いて鏡によって生成された仮想画像中のユーザのポーズを推定し、仮想オブジェクトを反射に固定する。
論文 参考訳（メタデータ） (2020-07-06T16:53:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。