論文の概要: Real-Time Portrait Stylization on the Edge
- arxiv url: http://arxiv.org/abs/2206.01244v1
- Date: Thu, 2 Jun 2022 18:34:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 08:26:19.301536
- Title: Real-Time Portrait Stylization on the Edge
- Title(参考訳): エッジ上のリアルタイムポートレートスティル化
- Authors: Yanyu Li, Xuan Shen, Geng Yuan, Jiexiong Guan, Wei Niu, Hao Tang, Bin
Ren, Yanzhi Wang
- Abstract要約: モバイル端末上では、リアルタイムのポートレートスタイリング、特に自画像の漫画やアニメスタイルへの変換を実演する。
本稿では,現実的な生成品質を維持するため,遅延駆動型微分可能なアーキテクチャ探索手法を提案する。
- 参考スコア(独自算出の注目度): 42.10723401631856
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work we demonstrate real-time portrait stylization, specifically,
translating self-portrait into cartoon or anime style on mobile devices. We
propose a latency-driven differentiable architecture search method, maintaining
realistic generative quality. With our framework, we obtain $10\times$
computation reduction on the generative model and achieve real-time video
stylization on off-the-shelf smartphone using mobile GPUs.
- Abstract(参考訳): 本研究は,リアルタイムのポートレートスタイライゼーション,特に携帯端末上での自画像のマンガやアニメスタイルへの翻訳を実演する。
本稿では,遅延駆動型微分可能なアーキテクチャ探索手法を提案する。
このフレームワークでは,生成モデル上で10\times$計算量を削減し,モバイルgpuを用いた市販スマートフォン上でリアルタイムビデオスタイライゼーションを実現する。
関連論文リスト
- MobilePortrait: Real-Time One-Shot Neural Head Avatars on Mobile Devices [16.489105620313065]
MobilePortraitは、モーションモデリングと画像合成の両方に外部知識を統合することで、学習の複雑さを低減するワンショットのニューラルヘッドアバター手法である。
計算要求の10分の1未満で最先端のパフォーマンスを達成する。
モバイルデバイス上で100 FPS以上の速度に到達し、ビデオおよびオーディオ駆動のインプットをサポートすることが検証されている。
論文 参考訳(メタデータ) (2024-07-08T08:12:57Z) - REFRAME: Reflective Surface Real-Time Rendering for Mobile Devices [51.983541908241726]
本研究は,様々な場面にまたがる反射面に対して,リアルタイムな新規ビュー合成を実現するための課題に取り組む。
既存のリアルタイムレンダリング手法、特にメッシュに基づくレンダリングは、リッチなビュー依存の外観を持つモデリングサーフェスにおいて、サブパーパフォーマンスを持つことが多い。
色を拡散およびスペクトルに分解し、ニューラル環境マップに基づいて反射方向のスペクトル色をモデル化する。
論文 参考訳(メタデータ) (2024-03-25T07:07:50Z) - EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction on Mobile Devices [53.28220984270622]
モバイル端末に暗黙的テクスチャを付加したtextbfSurf$ace 再構成手法を提案する。
提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。
我々の方法は1つのGPUを使ってたった1~2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
論文 参考訳(メタデータ) (2023-11-16T11:30:56Z) - Context-Preserving Two-Stage Video Domain Translation for Portrait
Stylization [68.10073215175055]
本稿では,時間的コヒーレントなスタイリングビデオを生成するためのモデルを強制する客観的機能を備えた新しい2段階ビデオ翻訳フレームワークを提案する。
我々のモデルは1フレームあたり0.011秒のレイテンシでリアルタイムに動作し、パラメータは5.6Mしか必要としない。
論文 参考訳(メタデータ) (2023-05-30T15:46:25Z) - Real-time volumetric rendering of dynamic humans [83.08068677139822]
本研究では,モノクラービデオから動的人間の高速3次元再構成とリアルタイムレンダリングを行う手法を提案する。
提案手法は, 72時間を要する最近の最先端の代替技術と比較して, 3時間未満で動的人間を1つのGPUで再構築することができる。
新たなローカル光線マーチングレンダリングにより、モバイルVRデバイス上で、視覚的品質の損失を最小限に抑えて、ニューラルヒューマンを毎秒40フレームで可視化することができる。
論文 参考訳(メタデータ) (2023-03-21T14:41:25Z) - Realtime Fewshot Portrait Stylization Based On Geometric Alignment [32.224973317381426]
本稿では,リアルタイムなモバイルアプリケーションのためのポートレートスタイリング手法を提案する。
それまでの学習に基づくスタイリング手法は、ポートレートドメインとスタイルドメインの間の幾何学的および意味的なギャップに悩まされていた。
人間の顔の属性の幾何学的先行に基づいて,この問題に対処するために幾何学的アライメントを活用することを提案する。
論文 参考訳(メタデータ) (2022-11-28T16:53:19Z) - VToonify: Controllable High-Resolution Portrait Video Style Transfer [103.54337984566877]
制御可能な高解像度のポートレートビデオスタイル転送のための新しいVToonifyフレームワークを提案する。
エンコーダによって抽出されたマルチスケールのコンテンツ特徴に基づいて,StyleGANの中間層と高解像度層を利用して芸術的な肖像画を描画する。
我々のフレームワークは、既存のStyleGANベースの画像トーン化モデルと互換性があり、それらをビデオトーン化に拡張し、色と強度の柔軟なスタイル制御のためにこれらのモデルの魅力的な特徴を継承する。
論文 参考訳(メタデータ) (2022-09-22T17:59:10Z) - Real-time Virtual-Try-On from a Single Example Image through Deep
Inverse Graphics and Learned Differentiable Renderers [13.894134334543363]
本稿では,リアルタイム逆グラフィックエンコーダを構築するためのディープラーニングに基づく新しいフレームワークを提案する。
我々の模倣者は、与えられた非微分可能画像の振舞いを正確に再現することを学ぶ生成ネットワークである。
我々のフレームワークは、消費者がインスピレーション付き参照画像から未知の商品を仮想的に試すことのできる新しいアプリケーションを可能にする。
論文 参考訳(メタデータ) (2022-05-12T18:44:00Z) - MVStylizer: An Efficient Edge-Assisted Video Photorealistic Style
Transfer System for Mobile Phones [39.94170753983804]
携帯電話用エッジアシスト型ビデオ転送システムであるMVStylizerを提案する。
MVStylizerは、最先端の方法に比べて、より優れた視覚的品質でスタイリングされたビデオを生成することができる。
論文 参考訳(メタデータ) (2020-05-24T00:54:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。