論文の概要: Real-time Virtual-Try-On from a Single Example Image through Deep
Inverse Graphics and Learned Differentiable Renderers
- arxiv url: http://arxiv.org/abs/2205.06305v1
- Date: Thu, 12 May 2022 18:44:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-16 13:14:56.144806
- Title: Real-time Virtual-Try-On from a Single Example Image through Deep
Inverse Graphics and Learned Differentiable Renderers
- Title（参考訳）: 深部インバースグラフィーと学習可能レンダラーによる一例画像からのリアルタイムバーチャルトリオン
- Authors: Robin Kips, Ruowei Jiang, Sileye Ba, Brendan Duke, Matthieu Perrot,
Pietro Gori, Isabelle Bloch
- Abstract要約: 本稿では,リアルタイム逆グラフィックエンコーダを構築するためのディープラーニングに基づく新しいフレームワークを提案する。
我々の模倣者は、与えられた非微分可能画像の振舞いを正確に再現することを学ぶ生成ネットワークである。
我々のフレームワークは、消費者がインスピレーション付き参照画像から未知の商品を仮想的に試すことのできる新しいアプリケーションを可能にする。
- 参考スコア（独自算出の注目度）: 13.894134334543363
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Augmented reality applications have rapidly spread across online platforms,
allowing consumers to virtually try-on a variety of products, such as makeup,
hair dying, or shoes. However, parametrizing a renderer to synthesize realistic
images of a given product remains a challenging task that requires expert
knowledge. While recent work has introduced neural rendering methods for
virtual try-on from example images, current approaches are based on large
generative models that cannot be used in real-time on mobile devices. This
calls for a hybrid method that combines the advantages of computer graphics and
neural rendering approaches. In this paper we propose a novel framework based
on deep learning to build a real-time inverse graphics encoder that learns to
map a single example image into the parameter space of a given augmented
reality rendering engine. Our method leverages self-supervised learning and
does not require labeled training data which makes it extendable to many
virtual try-on applications. Furthermore, most augmented reality renderers are
not differentiable in practice due to algorithmic choices or implementation
constraints to reach real-time on portable devices. To relax the need for a
graphics-based differentiable renderer in inverse graphics problems, we
introduce a trainable imitator module. Our imitator is a generative network
that learns to accurately reproduce the behavior of a given non-differentiable
renderer. We propose a novel rendering sensitivity loss to train the imitator,
which ensures that the network learns an accurate and continuous representation
for each rendering parameter. Our framework enables novel applications where
consumers can virtually try-on a novel unknown product from an inspirational
reference image on social media. It can also be used by graphics artists to
automatically create realistic rendering from a reference product image.
- Abstract（参考訳）: 拡張現実(augmented reality, ar)アプリケーションは、オンラインプラットフォームに急速に広がり、消費者は化粧、髪の死、靴など、さまざまな製品を試すことができる。
しかし、特定の製品の現実的なイメージを合成するためにレンダラーをパラメータ化することは、専門家の知識を必要とする課題である。
最近の研究は、サンプル画像から仮想試行のためのニューラルネットワークレンダリング手法を導入しているが、現在のアプローチはモバイルデバイスでリアルタイムに使用できない大規模な生成モデルに基づいている。
これにより、コンピュータグラフィックスとニューラルレンダリングアプローチの利点を組み合わせたハイブリッドな手法が求められます。
本稿では,与えられた拡張現実レンダリングエンジンのパラメータ空間への単一のサンプル画像のマッピングを学習するリアルタイム逆グラフィックスエンコーダを構築するための,ディープラーニングに基づく新しいフレームワークを提案する。
本手法は自己教師付き学習を活用し,多くの仮想試行アプリケーションに拡張可能なラベル付きトレーニングデータを必要としない。
さらに、ほとんどの拡張現実レンダラは、ポータブルデバイス上でリアルタイムに到達するためのアルゴリズム選択や実装制約のため、実際には区別できない。
逆グラフィックス問題におけるグラフィックスベースの微分可能レンダラの必要性を緩和するために,学習可能なイミテータモジュールを導入する。
我々の模倣者は、与えられた非微分可能レンダラーの挙動を正確に再現することを学ぶ生成ネットワークである。
本稿では,ネットワークがレンダリングパラメータ毎に正確かつ連続的な表現を学習することを保証するために,イミテータを訓練するための新しいレンダリング感度損失を提案する。
当社のフレームワークは,ソーシャルメディア上のインスピレーション付き参照画像から,未知の商品を仮想的に試せる新しいアプリケーションを実現する。
また、グラフィックアーティストが参照商品画像からリアルなレンダリングを自動的に作成するためにも使用できる。
関連論文リスト
- TextToon: Real-Time Text Toonify Head Avatar from Single Video [34.07760625281835]
乾燥可能なトーン化アバターを生成するためのTextToonを提案する。
短い単眼ビデオシーケンスとアバタースタイルに関する命令が与えられた場合,本モデルは高忠実度トーン化アバターを生成することができる。
論文 参考訳（メタデータ） (2024-09-23T15:04:45Z) - FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces [21.946327323788275]
動的顔の3Dレンダリングは難しい問題である。
本稿では,アクターの動的顔パフォーマンスの高品質なレンダリングを可能にする新しい表現を提案する。
論文 参考訳（メタデータ） (2024-04-22T00:44:13Z) - EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction on Mobile Devices [53.28220984270622]
モバイル端末に暗黙的テクスチャを付加したtextbfSurf$ace 再構成手法を提案する。
提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。
我々の方法は1つのGPUを使ってたった1～2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
論文 参考訳（メタデータ） (2023-11-16T11:30:56Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳（メタデータ） (2023-10-26T16:13:00Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳（メタデータ） (2023-03-25T13:56:33Z) - Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。
本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。
我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
論文 参考訳（メタデータ） (2022-09-18T03:58:00Z) - Fast Training of Neural Lumigraph Representations using Meta Learning [109.92233234681319]
我々は、リアルタイムにレンダリングできる高品質な表現を素早く学習することを目的として、新しいニューラルレンダリングアプローチを開発した。
われわれのアプローチであるMetaNLR++は、ニューラル形状表現と2次元CNNに基づく画像特徴抽出、集約、再投影のユニークな組み合わせを用いてこれを実現する。
そこで本研究では,MetaNLR++が類似あるいはより優れたフォトリアリスティックなノベルビュー合成を実現し,競合する手法が要求される時間のほんの少しの時間で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-28T18:55:50Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳（メタデータ） (2020-06-29T12:53:58Z) - State of the Art on Neural Rendering [141.22760314536438]
我々は,古典的コンピュータグラフィックス技術と深層生成モデルを組み合わせることで,制御可能かつフォトリアリスティックな出力を得るアプローチに焦点をあてる。
本報告は,新しいビュー合成,セマンティック写真操作,顔と身体の再現,リライティング,自由視点ビデオ,バーチャルおよび拡張現実テレプレゼンスのためのフォトリアリスティックアバターの作成など,記述されたアルゴリズムの多くの重要なユースケースに焦点をあてる。
論文 参考訳（メタデータ） (2020-04-08T04:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。