論文の概要: Avatar Fingerprinting for Authorized Use of Synthetic Talking-Head Videos

• arxiv url: http://arxiv.org/abs/2305.03713v2
• Date: Tue, 12 Sep 2023 09:01:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 17:09:41.202796
• Title: Avatar Fingerprinting for Authorized Use of Synthetic Talking-Head Videos
• Title（参考訳）: アバターフィンガープリントによる音声合成ビデオの利用
• Authors: Ekta Prashnani, Koki Nagano, Shalini De Mello, David Luebke, Orazio Gallo
• Abstract要約: これをアバターフィンガープリントと呼ぶ。 我々は、一つのアイデンティティの動作シグネチャがグループ化され、他のアイデンティティのシグネチャから遠ざかる埋め込みを学習する。 これにより、顔の外観に関係なく、合成ビデオとビデオ内の表情を駆動するアイデンティティをリンクすることができる。
• 参考スコア（独自算出の注目度）: 17.9357643775008
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern generators render talking-head videos with impressive photorealism, ushering in new user experiences such as videoconferencing under constrained bandwidth budgets. Their safe adoption, however, requires a mechanism to verify if the rendered video is trustworthy. For instance, for videoconferencing we must identify cases in which a synthetic video portrait uses the appearance of an individual without their consent. We term this task avatar fingerprinting. Specifically, we learn an embedding in which the motion signatures of one identity are grouped together, and pushed away from those of the other identities. This allows us to link the synthetic video to the identity driving the expressions in the video, regardless of the facial appearance shown. Avatar fingerprinting algorithms will be critical as talking head generators become more ubiquitous, and yet no large scale datasets exist for this new task. Therefore, we contribute a large dataset of people delivering scripted and improvised short monologues, accompanied by synthetic videos in which we render videos of one person using the facial appearance of another. Project page: https://research.nvidia.com/labs/nxp/avatar-fingerprinting/.
• Abstract（参考訳）: 現代のジェネレータは、ビデオ会議のような新しいユーザー体験を制約付き帯域幅予算で利用し、印象的なフォトリアリズムでトーキングヘッドビデオをレンダリングする。 しかし、彼らの安全な採用には、レンダリングされたビデオが信頼できるかどうかを検証するメカニズムが必要である。 例えば、ビデオ会議では、合成ビデオのポートレートが、同意なしに個人の外観を使用するケースを識別しなければならない。 これをアバターフィンガープリントと呼ぶ。 具体的には、一つのアイデンティティの動作シグネチャがグループ化され、他のアイデンティティのシグネチャから切り離された埋め込みを学習する。 これにより、顔の外観に関わらず、合成ビデオと動画内の表現を駆動するアイデンティティをリンクすることができる。 アバターの指紋認証アルゴリズムは、対話ヘッドジェネレータがよりユビキタスになるにつれて重要になるが、この新しいタスクには大規模なデータセットは存在しない。 そこで,本研究では,台本や即興の短いモノローグを制作する人たちの膨大なデータセットと,他者の顔の表情を用いて映像をレンダリングする合成動画をコントリビュートした。 プロジェクトページ: https://research.nvidia.com/labs/nxp/avatar-fingerprinting/

関連論文リスト

• EgoAvatar: Egocentric View-Driven and Photorealistic Full-body Avatars [56.56236652774294]
  本研究では,光合成デジタルアバターを共同でモデル化し,同時に1つの自我中心映像から駆動する人物中心型テレプレゼンス手法を提案する。 提案手法は,エゴセントリック・フォトリアル・テレプレゼンスへの明確な一歩として,ベースラインと競合する手法に優れることを示す。
  論文  参考訳（メタデータ） (2024-09-22T22:50:27Z)
• DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
  顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。 本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
  論文  参考訳（メタデータ） (2024-08-20T06:52:03Z)
• HumanVid: Demystifying Training Data for Camera-controllable Human Image Animation [64.37874983401221]
  人間の画像アニメーションに適した,最初の大規模高品質データセットであるHumanVidを紹介する。 実世界のデータについては、インターネットから著作権のない実世界のビデオの膨大なコレクションをコンパイルします。 合成データについては,2300件の著作権のない3Dアバター資産を収集し,既存の3D資産を拡大する。
  論文  参考訳（メタデータ） (2024-07-24T17:15:58Z)
• Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
  商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。 本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。 アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
  論文  参考訳（メタデータ） (2023-07-04T21:57:05Z)
• READ Avatars: Realistic Emotion-controllable Audio Driven Avatars [11.98034899127065]
  本稿では、感情を直接制御したオーディオ入力によって駆動される2次元アバターを生成するための3次元アプローチであるREAD Avatarsを提案する。 従来の手法では、音声から表現マッピングへの多対多の性質のため、現実的なアニメーションを達成できない。 これは回帰モデルによる滑らかな効果を排除し、生成されたアバターの現実性と表現性を改善するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-01T18:56:43Z)
• High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation [117.32310997522394]
  3Dビデオアバターは、圧縮、プライバシー、エンターテイメント、AR/VRにおける存在感を提供することで、仮想コミュニケーションを強化することができる。 既存の人物固有の3dモデルは照明に頑健ではないため、その結果は通常微妙な顔の振る舞いを見逃し、アバターにアーティファクトを引き起こす。 本論文では,高品質の3D顔追跡アルゴリズムを組み合わせたディープラーニング照明モデルを用いて,通常の映像から3Dフォトリアリズムアバターへの微妙かつ堅牢な顔の動き伝達手法を提案する。
  論文  参考訳（メタデータ） (2021-03-29T18:33:49Z)
• Expressive Telepresence via Modular Codec Avatars [148.212743312768]
  VRテレプレゼンス(VR Telepresence)とは、アバターで表される仮想空間において、他の人間と対話することである。 本稿では,VRヘッドセットのカメラによって駆動される超現実的な顔を生成する手法である,Modular Codec Avatars (MCA)を提案する。 MCAは、全体的なモデルを学習されたモジュラー表現に置き換えることで、伝統的なコーデックアバター(CA)を拡張している。
  論文  参考訳（メタデータ） (2020-08-26T20:16:43Z)
• Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
  音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。 私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
  論文  参考訳（メタデータ） (2020-08-11T22:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。