論文の概要: Realtime Fewshot Portrait Stylization Based On Geometric Alignment

• arxiv url: http://arxiv.org/abs/2211.15549v1
• Date: Mon, 28 Nov 2022 16:53:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 18:56:20.430052
• Title: Realtime Fewshot Portrait Stylization Based On Geometric Alignment
• Title（参考訳）: 幾何学的アライメントに基づくリアルタイムFewshotポートレートスティル化
• Authors: Xinrui Wang, Zhuoru Li, Xiao Zhou, Yusuke Iwasawa, Yutaka Matsuo
• Abstract要約: 本稿では,リアルタイムなモバイルアプリケーションのためのポートレートスタイリング手法を提案する。 それまでの学習に基づくスタイリング手法は、ポートレートドメインとスタイルドメインの間の幾何学的および意味的なギャップに悩まされていた。 人間の顔の属性の幾何学的先行に基づいて,この問題に対処するために幾何学的アライメントを活用することを提案する。
• 参考スコア（独自算出の注目度）: 32.224973317381426
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper presents a portrait stylization method designed for real-time mobile applications with limited style examples available. Previous learning based stylization methods suffer from the geometric and semantic gaps between portrait domain and style domain, which obstacles the style information to be correctly transferred to the portrait images, leading to poor stylization quality. Based on the geometric prior of human facial attributions, we propose to utilize geometric alignment to tackle this issue. Firstly, we apply Thin-Plate-Spline (TPS) on feature maps in the generator network and also directly to style images in pixel space, generating aligned portrait-style image pairs with identical landmarks, which closes the geometric gaps between two domains. Secondly, adversarial learning maps the textures and colors of portrait images to the style domain. Finally, geometric aware cycle consistency preserves the content and identity information unchanged, and deformation invariant constraint suppresses artifacts and distortions. Qualitative and quantitative comparison validate our method outperforms existing methods, and experiments proof our method could be trained with limited style examples (100 or less) in real-time (more than 40 FPS) on mobile devices. Ablation study demonstrates the effectiveness of each component in the framework.
• Abstract（参考訳）: 本稿では,リアルタイムモバイルアプリケーション用にデザインしたポートレートスタイライゼーション手法を提案する。 従来の学習に基づくスタイライゼーション手法では、ポートレートドメインとスタイルドメインの間の幾何学的および意味的なギャップに苦しむため、ポートレートイメージに正しく転送されるスタイル情報が妨げられ、スタイライゼーションの品質が低下する。 本稿では,人間の顔属性の幾何学的前置に基づいて,幾何学的アライメントを用いてこの問題に取り組むことを提案する。 まず,TPS(Thin-Plate-Spline)をジェネレータネットワーク内の特徴マップに加え,画素空間のスタイル画像に直接適用し,同一のランドマークと整列したポートレートスタイルの画像ペアを生成し,二つの領域間の幾何学的ギャップを埋める。 第2に、敵対的学習は、ポートレートイメージのテクスチャと色をスタイルドメインにマッピングする。 最後に、幾何認識サイクル一貫性はコンテンツとアイデンティティ情報を不変に保存し、変形不変制約はアーティファクトと歪みを抑制する。 定性的かつ定量的な比較により,提案手法は既存手法よりも優れており,実験により,モバイル端末上でのリアルタイム(40FPS以上)の限られたスタイルの例(100以下)で学習できることを示した。 アブレーション研究はフレームワークの各コンポーネントの有効性を示す。

関連論文リスト

• Customizing Text-to-Image Models with a Single Image Pair [47.49970731632113]
  芸術再解釈(Art repretation)は、参照された作品のバリエーションを作成し、異なる芸術様式を示すペアアートを作るプラクティスである。 Pair Customizationは1つの画像対からスタイリスティックな違いを学習し、取得したスタイルを生成プロセスに適用する新しいカスタマイズ手法である。
  論文  参考訳（メタデータ） (2024-05-02T17:59:52Z)
• InstantStyle: Free Lunch towards Style-Preserving in Text-to-Image Generation [5.364489068722223]
  スタイルの概念は本質的に過小評価されており、色、材料、雰囲気、デザイン、構造といった様々な要素を含んでいる。 インバージョンベースの手法はスタイルの劣化を招きやすいため、細かな細部が失われることが多い。 アダプタベースのアプローチでは、スタイル強度とテキストの制御性のバランスをとるために、参照画像ごとに微妙な重み調整が必要となることが多い。
  論文  参考訳（メタデータ） (2024-04-03T13:34:09Z)
• Portrait Diffusion: Training-free Face Stylization with Chain-of-Painting [64.43760427752532]
  顔のスタイリゼーション(face stylization)とは、顔の特定の肖像画スタイルへの変換を指す。 現在の手法では、ファインチューン事前訓練された生成モデルに対するサンプルベースの適応アプローチが必要とされる。 本稿では,ポートレートディフュージョン(Portrait Diffusion)という,トレーニング不要な顔スタイル化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-03T06:48:35Z)
• A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive Learning [84.8813842101747]
  Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。 入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。 本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-03-09T04:35:00Z)
• Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
  本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。 まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。 本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:40:55Z)
• Learning Graph Neural Networks for Image Style Transfer [131.73237185888215]
  最先端のパラメトリックおよび非パラメトリックなスタイル転送アプローチは、グローバルな統計アライメントによる局所的なスタイルパターンの歪んだり、パッチミスマッチによるアーティファクトを減らしたりする傾向にある。 本稿では,パラメトリック型と非パラメトリック型の両方のスタイライゼーションの欠如を緩和する,新しい半パラメトリック型ニューラルスタイルトランスファーフレームワークについて検討する。
  論文  参考訳（メタデータ） (2022-07-24T07:41:31Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• Deformable Style Transfer [14.729482749508374]
  本稿では、コンテンツ画像のテクスチャと幾何学を協調的にスタイリングしてスタイル画像に適合させる最適化ベースの手法である、変形可能なスタイル転送(DST)を提案する。 本手法は,肖像画,動物,物,風景,絵画など,多種多様な内容や様式のイメージに対して実証する。
  論文  参考訳（メタデータ） (2020-03-24T18:00:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。