論文の概要: ImplicitDeepfake: Plausible Face-Swapping through Implicit Deepfake
Generation using NeRF and Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2402.06390v1
- Date: Fri, 9 Feb 2024 13:11:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 16:52:51.040996
- Title: ImplicitDeepfake: Plausible Face-Swapping through Implicit Deepfake
Generation using NeRF and Gaussian Splatting
- Title（参考訳）: インプリシットディープフェイク:NeRFおよびガウススプラッティングを用いたインプリシットディープフェイク生成によるプラウシブルフェイススワッピング
- Authors: Georgii Stanishevskii, Jakub Steczkiewicz, Tomasz Szczepanik,
S{\l}awomir Tadeja, Jacek Tabor, Przemys{\l}aw Spurek
- Abstract要約: 我々はNeRFとGSを組み合わせて3Dディープフェイクベースのアバターを製作する方法を示す。
Deepfakeは、望ましい品質であれば、アバター作成とゲームのための次世代ソリューションを提供することができる。
- 参考スコア（独自算出の注目度）: 10.991274404360194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Numerous emerging deep-learning techniques have had a substantial impact on
computer graphics. Among the most promising breakthroughs are the recent rise
of Neural Radiance Fields (NeRFs) and Gaussian Splatting (GS). NeRFs encode the
object's shape and color in neural network weights using a handful of images
with known camera positions to generate novel views. In contrast, GS provides
accelerated training and inference without a decrease in rendering quality by
encoding the object's characteristics in a collection of Gaussian
distributions. These two techniques have found many use cases in spatial
computing and other domains. On the other hand, the emergence of deepfake
methods has sparked considerable controversy. Such techniques can have a form
of artificial intelligence-generated videos that closely mimic authentic
footage. Using generative models, they can modify facial features, enabling the
creation of altered identities or facial expressions that exhibit a remarkably
realistic appearance to a real person. Despite these controversies, deepfake
can offer a next-generation solution for avatar creation and gaming when of
desirable quality. To that end, we show how to combine all these emerging
technologies to obtain a more plausible outcome. Our ImplicitDeepfake1 uses the
classical deepfake algorithm to modify all training images separately and then
train NeRF and GS on modified faces. Such relatively simple strategies can
produce plausible 3D deepfake-based avatars.
- Abstract（参考訳）: 多くのディープラーニング技術がコンピュータグラフィックスに大きな影響を与えている。
最も有望なブレークスルーとしては、最近のNeural Radiance Fields(NeRF)とGaussian Splatting(GS)がある。
NeRFは、既知のカメラ位置を持つ少数の画像を使用して、ニューラルネットワークの重みでオブジェクトの形状と色を符号化し、新しいビューを生成する。
対照的に、GSは、ガウス分布の集合にオブジェクトの特性を符号化することで、レンダリング品質を低下させることなく、高速なトレーニングと推論を提供する。
これらの2つの手法は空間コンピューティングや他の領域で多くのユースケースを見出した。
一方、ディープフェイクの手法の出現は、かなりの論争を引き起こした。
このようなテクニックは、本物の映像を忠実に再現する人工知能によって生成されたビデオの形を持つことができる。
生成モデルを使用することで、顔の特徴を修正でき、実際の人に驚くほど現実的な外観を示す、変化したアイデンティティや表情を生成できる。
こうした論争にもかかわらず、deepfakeは、望ましい品質のアバター作成とゲームのための次世代ソリューションを提供することができる。
そのために、これらの新興技術を組み合わせて、より妥当な結果を得る方法を示します。
私たちのImplicitDeepfake1は、古典的なディープフェイクアルゴリズムを使用して、すべてのトレーニングイメージを別々に修正し、修正された顔に対してNeRFとGSをトレーニングします。
このような比較的単純な戦略は、3Dディープフェイクベースのアバターを生み出すことができる。
関連論文リスト
- Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。
我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。
提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-10T14:29:00Z) - Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。
本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。
我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
論文 参考訳（メタデータ） (2024-10-10T13:10:34Z) - Solutions to Deepfakes: Can Camera Hardware, Cryptography, and Deep Learning Verify Real Images? [51.3344199560726]
信頼性の高い合成データから実際のデータを分離する手法を確立することが不可欠である。
この文書は、どの画像が本物かを検証するために使用できる検出と暗号に関する既知の戦略を提示することを目的としている。
論文 参考訳（メタデータ） (2024-07-04T22:01:21Z) - Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。
COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
論文 参考訳（メタデータ） (2024-03-07T00:00:02Z) - Text-image guided Diffusion Model for generating Deepfake celebrity
interactions [50.37578424163951]
拡散モデルは近年、非常にリアルなビジュアルコンテンツ生成を実証している。
本稿では,その点において新しい手法を考案し,検討する。
提案手法により, 現実感を脅かすことなく, 偽の視覚コンテンツを作成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-26T08:24:37Z) - Copy Motion From One to Another: Fake Motion Video Generation [53.676020148034034]
人工知能の魅力的な応用は、任意の所望の動作を行う対象者のビデオを生成することである。
現在の手法では、通常、生成されたビデオの信頼性を評価するために、L2損失のGANを用いる。
本稿では,ポーズから前景画像へのマッピングの学習を容易にする理論的動機付け型Gromov-Wasserstein損失を提案する。
本手法は,人物の複雑な動きを忠実にコピーすることで,現実的な人物映像を生成できる。
論文 参考訳（メタデータ） (2022-05-03T08:45:22Z) - DA-FDFtNet: Dual Attention Fake Detection Fine-tuning Network to Detect
Various AI-Generated Fake Images [21.030153777110026]
ディープフェイク」のような偽画像の作成がずっと簡単になった。
近年の研究では、少量のトレーニングデータを用いて、フェイク画像や動画をより効果的に生成する、いくつかのショットラーニングが導入されている。
本研究では,操作した偽顔画像を検出するために,DA-tNet(Dual Attention Fine-tuning Network)を提案する。
論文 参考訳（メタデータ） (2021-12-22T16:25:24Z) - Detecting Deepfake Videos Using Euler Video Magnification [1.8506048493564673]
Deepfakeのビデオは、高度な機械学習技術を使ってビデオを操作している。
本稿では,ディープフェイク映像の識別技術について検討する。
提案手法では,Euler手法から抽出した特徴を用いて,偽造映像と未修正映像を分類する3つのモデルを訓練する。
論文 参考訳（メタデータ） (2021-01-27T17:37:23Z) - Using GANs to Synthesise Minimum Training Data for Deepfake Generation [2.7393821783237184]
ディープフェイクは、エンターテイメント、顧客関係、さらには支援ケアといったアプリケーションで有用である。
ディープフェイクを生成することの1つの問題は、被写体の多くの画像トレーニングデータを必要とすることである。
我々は、GANの特性を利用して、変化した表情を持つ人物のイメージを生成し、そこからディープフェイクを生成する。
論文 参考訳（メタデータ） (2020-11-10T22:05:38Z) - Fighting Deepfake by Exposing the Convolutional Traces on Images [0.0]
FACEAPPのようなモバイルアプリは、最も高度なGAN(Generative Adversarial Networks)を使用して、人間の顔写真に極端な変換を生成する。
この種のメディアオブジェクトはDeepfakeという名前を取って、マルチメディアの法医学分野における新たな課題であるDeepfake検出課題を提起した。
本稿では,画像からディープフェイク指紋を抽出する手法を提案する。
論文 参考訳（メタデータ） (2020-08-07T08:49:23Z) - Defending against GAN-based Deepfake Attacks via Transformation-aware
Adversarial Faces [36.87244915810356]
Deepfakeは、機械学習モデルを活用するフェイススワッピング攻撃のカテゴリである。
本稿では,Deepfake攻撃に対する防御手段として,逆向きに乱れする新しい変形認識顔を提案する。
また, アンサンブルをベースとしたアプローチを用いて, GANベースのディープフェイク型に対する防御ロバスト性を高めることを提案する。
論文 参考訳（メタデータ） (2020-06-12T18:51:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。