論文の概要: A multidimensional measurement of photorealistic avatar quality of experience
- arxiv url: http://arxiv.org/abs/2411.09066v1
- Date: Wed, 13 Nov 2024 22:47:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-15 15:23:30.866786
- Title: A multidimensional measurement of photorealistic avatar quality of experience
- Title（参考訳）: 光現実性アバターの体験品質の多次元計測
- Authors: Ross Cutler, Babak Naderi, Vishak Gopal, Dharmendar Palle,
- Abstract要約: フォトリアリスティックなアバターは人間のアバターで、実際の人間のように見え、動き、話す。
10次元の光実写アバター性能を主観的に測定するためのオープンソースのテストフレームワークを提供する。
これら9つの主観的指標とPSNR, SSIM, LPIPS, FID, FVDの相関は弱く, 感情の精度は適度である。
- 参考スコア（独自算出の注目度）: 14.94879852506943
- License:
- Abstract: Photorealistic avatars are human avatars that look, move, and talk like real people. The performance of photorealistic avatars has significantly improved recently based on objective metrics such as PSNR, SSIM, LPIPS, FID, and FVD. However, recent photorealistic avatar publications do not provide subjective tests of the avatars to measure human usability factors. We provide an open source test framework to subjectively measure photorealistic avatar performance in ten dimensions: realism, trust, comfortableness using, comfortableness interacting with, appropriateness for work, creepiness, formality, affinity, resemblance to the person, and emotion accuracy. We show that the correlation of nine of these subjective metrics with PSNR, SSIM, LPIPS, FID, and FVD is weak, and moderate for emotion accuracy. The crowdsourced subjective test framework is highly reproducible and accurate when compared to a panel of experts. We analyze a wide range of avatars from photorealistic to cartoon-like and show that some photorealistic avatars are approaching real video performance based on these dimensions. We also find that for avatars above a certain level of realism, eight of these measured dimensions are strongly correlated. In particular, for photorealistic avatars there is a linear relationship between avatar affinity and realism; in other words, there is no uncanny valley effect for photorealistic avatars in the telecommunication scenario. We provide several extensions of this test framework for future work and discuss design implications for telecommunication systems. The test framework is available at https://github.com/microsoft/P.910.
- Abstract（参考訳）: フォトリアリスティックなアバターは人間のアバターで、実際の人間のように見え、動き、話す。
近年,PSNR,SSIM,LPIPS,FID,FVDなどの客観的指標に基づいて,光現実性アバターの性能が大幅に向上している。
しかし、近年のフォトリアリスティックなアバター出版物は、人間の使いやすさ因子を測定するために、アバターの主観的なテストを提供していない。
本研究では, 現実主義, 信頼, 快適性, 対話性, 作業の適性, クリープ性, フォーマル性, 親和性, 人への親和性, 感情の正確さの10次元において, フォトリアリスティックなアバター性能を主観的に測定するオープンソースのテストフレームワークを提供する。
これら9つの主観的指標とPSNR, SSIM, LPIPS, FID, FVDの相関は弱く, 感情の正確性には適していることを示す。
クラウドソースされた主観的テストフレームワークは、専門家のパネルと比較すると、非常に再現性が高く、正確です。
我々は、写真リアリスティックから漫画のようなアバターを多岐にわたって分析し、写真リアリスティックなアバターの一部が、これらの次元に基づいて実際の映像パフォーマンスに近づいていることを示す。
また、あるレベル以上のアバターに対して、これらの測定された次元のうち8つは強く相関している。
特に、光現実性アバターにはアバター親和性とリアリズムの間に線形関係があり、言い換えれば、通信シナリオにおける光現実性アバターに対する不気味な谷効果は存在しない。
今後の研究のために,このテストフレームワークのいくつかの拡張を提供し,遠隔通信システムにおける設計上の意味について議論する。
テストフレームワークはhttps://github.com/microsoft/P.910で公開されている。
関連論文リスト
- EgoAvatar: Egocentric View-Driven and Photorealistic Full-body Avatars [56.56236652774294]
本研究では,光合成デジタルアバターを共同でモデル化し,同時に1つの自我中心映像から駆動する人物中心型テレプレゼンス手法を提案する。
提案手法は,エゴセントリック・フォトリアル・テレプレゼンスへの明確な一歩として,ベースラインと競合する手法に優れることを示す。
論文 参考訳（メタデータ） (2024-09-22T22:50:27Z) - AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text [71.09533176800707]
アバターストゥディオ(AvatarStudio)は、アニマタブルな人間のアバターのために、明瞭なテクスチャ化された3Dメッシュを生成する粗大で微細な生成モデルである。
調音メッシュ表現とDensePose条件拡散モデルとの相乗効果を効果的に活用することにより、AvatarStudioは高品質なアバターを作成することができる。
論文 参考訳（メタデータ） (2023-11-29T18:59:32Z) - DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。
アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
論文 参考訳（メタデータ） (2023-05-21T17:59:39Z) - The Work Avatar Face-Off: Knowledge Worker Preferences for Realism in
Meetings [0.0]
複数の国の知識労働者2509名を対象に,マネージャ,既知の同僚,未知の同僚が使用するためのアバタースタイルを5つ評価した。
あらゆるシナリオにおいて、参加者はより高いリアリズムを好んだが、完全に現実的なアバターは時々不気味であると認識された。
アバターは、未知の同僚やマネージャーと対話する際に、既知の同僚と比べて、より現実的な評価が下がった。
論文 参考訳（メタデータ） (2023-04-03T22:43:20Z) - SwiftAvatar: Efficient Auto-Creation of Parameterized Stylized Character
on Arbitrary Avatar Engines [34.645129752596915]
我々は,新しいアバター自動作成フレームワークであるSwiftAvatarを提案する。
我々は、アバターベクトルとその対応する現実的な顔からなる高品質なデータをできるだけ多く合成する。
実験では2つの異なるアバターエンジンにおけるSwiftAvatarの有効性と効率を実証した。
論文 参考訳（メタデータ） (2023-01-19T16:14:28Z) - AgileAvatar: Stylized 3D Avatar Creation via Cascaded Domain Bridging [12.535634029277212]
高品質な3Dアバターを作成するための,新しい自己教師型学習フレームワークを提案する。
その結果,従来の作業よりもはるかに高い選好スコアが得られ,手作業による作成に近い結果が得られた。
論文 参考訳（メタデータ） (2022-11-15T00:43:45Z) - Dressing Avatars: Deep Photorealistic Appearance for Physically
Simulated Clothing [49.96406805006839]
リアルな衣服の動態とリアルなデータから学んだフォトリアリスティックな外観の両方を示す衣服の明示的なモデリングを施したポーズ駆動アバターを紹介した。
我々の重要な貢献は物理的にインスパイアされた外観ネットワークであり、視界依存的かつダイナミックな影効果を持つ光リアルな外観を生成できる。
論文 参考訳（メタデータ） (2022-06-30T17:58:20Z) - Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual
Reality [68.18446501943585]
ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える
最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。
本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
論文 参考訳（メタデータ） (2021-04-10T15:48:53Z) - High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation [117.32310997522394]
3Dビデオアバターは、圧縮、プライバシー、エンターテイメント、AR/VRにおける存在感を提供することで、仮想コミュニケーションを強化することができる。
既存の人物固有の3dモデルは照明に頑健ではないため、その結果は通常微妙な顔の振る舞いを見逃し、アバターにアーティファクトを引き起こす。
本論文では,高品質の3D顔追跡アルゴリズムを組み合わせたディープラーニング照明モデルを用いて,通常の映像から3Dフォトリアリズムアバターへの微妙かつ堅牢な顔の動き伝達手法を提案する。
論文 参考訳（メタデータ） (2021-03-29T18:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。