論文の概要: Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch to Portrait Generation

• arxiv url: http://arxiv.org/abs/2302.06857v1
• Date: Tue, 14 Feb 2023 06:28:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-15 16:10:08.324776
• Title: Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch to Portrait Generation
• Title（参考訳）: 短いストロークをリアルかつ立体的に - 肖像画生成のための3d認識による簡易スケッチ
• Authors: Yasheng Sun, Qianyi Wu, Hang Zhou, Kaisiyuan Wang, Tianshu Hu, Chen-Chieh Liao, Dongliang He, Jingtuo Liu, Errui Ding, Jingdong Wang, Shio Miyafuji, Ziwei Liu, Hideki Koike
• Abstract要約: 既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。 本稿では立体視による簡易スケッチ・トゥ・ポートレート(SSSP)について述べる。 我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。
• 参考スコア（独自算出の注目度）: 92.86738021438606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Creating the photo-realistic version of people sketched portraits is useful to various entertainment purposes. Existing studies only generate portraits in the 2D plane with fixed views, making the results less vivid. In this paper, we present Stereoscopic Simplified Sketch-to-Portrait (SSSP), which explores the possibility of creating Stereoscopic 3D-aware portraits from simple contour sketches by involving 3D generative models. Our key insight is to design sketch-aware constraints that can fully exploit the prior knowledge of a tri-plane-based 3D-aware generative model. Specifically, our designed region-aware volume rendering strategy and global consistency constraint further enhance detail correspondences during sketch encoding. Moreover, in order to facilitate the usage of layman users, we propose a Contour-to-Sketch module with vector quantized representations, so that easily drawn contours can directly guide the generation of 3D portraits. Extensive comparisons show that our method generates high-quality results that match the sketch. Our usability study verifies that our system is greatly preferred by user.
• Abstract（参考訳）: 写実的な人物の肖像画を作成することは、様々なエンターテイメントの目的に有用である。 既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。 本稿では,3次元生成モデルを用いて,簡易な輪郭スケッチから立体的3次元認識ポートレートを作成する可能性について検討する。 我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。 具体的には、設計した地域対応ボリュームレンダリング戦略とグローバル一貫性制約により、スケッチエンコーディング時の詳細対応をさらに強化する。 さらに,レイマンユーザの利用を容易にするために,ベクトル量子化表現を備えたContour-to-Sketchモジュールを提案する。 広範な比較の結果,提案手法はスケッチにマッチする高品質な結果を生成することがわかった。 ユーザビリティスタディは,システムがユーザにより非常に好まれていることを検証する。

関連論文リスト

• Diff3DS: Generating View-Consistent 3D Sketch via Differentiable Curve Rendering [17.918603435615335]
  3Dスケッチは、オブジェクトやシーンの3D形状と構造を視覚的に表現するために広く使用されている。 Diff3DSは、ビュー一貫性のある3Dスケッチを生成するための、新しい差別化可能なフレームワークである。 我々のフレームワークは3Dスケッチとカスタマイズされた画像のドメインをブリッジし、3Dスケッチのエンドツーエンド最適化を実現する。
  論文  参考訳（メタデータ） (2024-05-24T07:48:14Z)
• Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
  本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。 3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
  論文  参考訳（メタデータ） (2024-04-02T11:03:24Z)
• Control3D: Towards Controllable Text-to-3D Generation [107.81136630589263]
  本稿では,手書きスケッチ,すなわちコントロール3Dについてテキストから3D生成条件を提案する。 2次元条件付き拡散モデル(ControlNet)を再構成し、NeRFとしてパラメータ化された3次元シーンの学習を誘導する。 合成3Dシーン上での描画画像のスケッチを直接推定するために,事前学習可能なフォト・ツー・スケッチ・モデルを利用する。
  論文  参考訳（メタデータ） (2023-11-09T15:50:32Z)
• SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling [69.28254439393298]
  SketchMetaFaceは、アマチュアユーザーを対象に、高忠実度3D顔を数分でモデリングするスケッチシステムである。 我々は"Implicit and Depth Guided Mesh Modeling"(IDGMM)と呼ばれる新しい学習ベース手法を開発した。 メッシュ、暗黙、深度表現の利点を融合させ、高い効率で高品質な結果を達成する。
  論文  参考訳（メタデータ） (2023-07-03T07:41:07Z)
• Freestyle 3D-Aware Portrait Synthesis Based on Compositional Generative Priors [12.663585627797863]
  テキスト駆動型3D画像合成フレームワークを提案する。 具体的には、ポートレートスタイルのプロンプトに対して、3D対応のGANジェネレータとテキストガイド画像エディタを合成する。 そして、このセットの特殊スタイル領域を提案した3D潜在特徴生成器にマッピングし、与えられたスタイル情報を含む3D表現を得る。
  論文  参考訳（メタデータ） (2023-06-27T12:23:04Z)
• SENS: Part-Aware Sketch-based Implicit Neural Shape Modeling [124.3266213819203]
  SENSは手描きスケッチから3Dモデルを生成し編集するための新しい手法である。 SENSはスケッチを分析し、部品をViTパッチエンコーディングにエンコードする。 SENSは部分再構成による精細化をサポートし、微調整とアーティファクトの除去を可能にする。
  論文  参考訳（メタデータ） (2023-06-09T17:50:53Z)
• SingleSketch2Mesh : Generating 3D Mesh model from Sketch [1.6973426830397942]
  スケッチから3Dモデルを生成する現在の方法は、手動またはタイトに3Dモデリングプラットフォームと結合されている。 我々は手描きスケッチから3Dモデルを生成するための新しいAIベースのアンサンブルアプローチであるSingleSketch2Meshを提案する。
  論文  参考訳（メタデータ） (2022-03-07T06:30:36Z)
• Sketch2Mesh: Reconstructing and Editing 3D Shapes from Sketches [65.96417928860039]
  スケッチのメッシュ変換にはエンコーダ/デコーダアーキテクチャを使用する。 このアプローチはデプロイが容易で、スタイル変更に堅牢であり、効果的であることを示します。
  論文  参考訳（メタデータ） (2021-04-01T14:10:59Z)
• 3D Shape Reconstruction from Free-Hand Sketches [42.15888734492648]
  歪みのない線図からの3次元再構成では大きな進歩があったが、フリーハンドスケッチから3次元形状を再構築する努力はほとんど行われていない。 インタラクティブデザインやVR/ARゲームといった3D関連アプリケーションにおけるスケッチのパワー向上を目指す。 フリーハンドスケッチ3D再構成の大きな課題は、トレーニングデータ不足とフリーハンドスケッチの多様性にある。
  論文  参考訳（メタデータ） (2020-06-17T07:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。