論文の概要: Photorealistic Novel View Synthesis of Human Faces using Next-Scale Transformers
- arxiv url: http://arxiv.org/abs/2608.23410v1
- Date: Mon, 24 Aug 2026 15:55:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.188665
- Title: Photorealistic Novel View Synthesis of Human Faces using Next-Scale Transformers
- Title（参考訳）: 次世代変圧器を用いた人間の顔のフォトリアリスティックな新しい視点合成
- Abstract要約: 我々は、次世代の自己回帰パラダイムを構築し、人間中心のビュー合成に適応する。
我々は、多様なアイデンティティとアパレルにまたがる人間の顔の合成データセットを訓練する。
得られたモデルはシャープでリアルなビューを生成し、同時に複数の新しい視点を合成するオプションがある。
- 参考スコア（独自算出の注目度）: 8.260375854707354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Photorealistic novel view synthesis of people remains challenging at high spatial resolutions and across multiple target cameras, where preserving identity, fine appearance details, and geometric coherence is critical. We build on the next-scale autoregressive paradigm and adapt it for human-centric view synthesis by enabling higher image resolutions, multi-view outputs and stronger cross-view consistency in a single forward pass. We train on a synthetic dataset of human faces spanning diverse identities and apparel. Contrary to diffusion models, this paradigm does not need 2D pre-training and, thanks to its next-scale architecture, it benefits from lower-resolution, general-purpose pre-trainings, with the full-sized purpose-specific images being used only in the last training stages. This enables our architecture to converge with a smaller amount of purpose-specific training data, allowing us to use a smaller but more realistic training dataset. The resulting model produces sharp and realistic views, with the option to synthesize multiple novel viewpoints simultaneously for improved agreement across views. Empirically, we observe gains in perceptual fidelity and cross-view coherence on human subjects, demonstrating that next-scale autoregression is an effective backbone for scalable, multi-output human view synthesis. We also couple our pipeline with an existing transformer-based model for pixel-aligned 3D gaussian lifting from multi-view facial inputs, resulting in accurate and photorealistic 3D models of human faces.
- Abstract（参考訳）: 光リアリスティックな新しい視点の合成は、アイデンティティ、細かい外観の詳細、幾何学的コヒーレンスを保ったまま、高空間分解能と複数のターゲットカメラをまたがって難しいままである。
我々は、次世代の自己回帰パラダイムを基盤として、高解像度の画像解像度、マルチビュー出力、より強力なクロスビュー整合性を実現し、人間中心のビュー合成に適応する。
我々は、多様なアイデンティティとアパレルにまたがる人間の顔の合成データセットを訓練する。
拡散モデルとは対照的に、このパラダイムは2D事前トレーニングを必要としておらず、その次世代アーキテクチャのおかげで、低解像度で汎用的な事前トレーニングの恩恵を受ける。
これにより、アーキテクチャは、少数の目的固有のトレーニングデータに収束し、より小さいがより現実的なトレーニングデータセットを使用することができます。
得られたモデルはシャープでリアルなビューを生成し、ビュー間の合意を改善するために複数の新しい視点を同時に合成するオプションがある。
実証的に、人間の被写体に対する知覚的忠実度と横断的コヒーレンスの増加を観察し、次のスケールの自己回帰がスケーラブルでマルチアウトプットなヒューマンビューの合成に有効なバックボーンであることを実証した。
また,複数視点の顔入力から3Dガウスを持ち上げるために,既存のトランスフォーマーベースモデルとパイプラインを結合し,人間の顔の正確な3Dモデルを実現する。
関連論文リスト
- HumanNOVA: Photorealistic, Universal and Rapid 3D Human Avatar Modeling from a Single Image [84.81016200801153]
我々は,1枚のRGB画像から3次元アバターを生成するための,フォトリアリスティックで普遍的で高速なモデルであるHumanNOVAを提案する。
アーキテクチャの面では、HumanNOVAは1秒未満で高速な推論を可能にする、フィードフォワード、トークン条件付きアバターモデリングフレームワークを採用している。
論文 参考訳（メタデータ） (2026-06-01T17:58:11Z) - HumanRAM: Feed-forward Human Reconstruction and Animation Model using Transformers [60.86393841247567]
HumanRAMは、モノクル画像やスパース画像から人間の再構築とアニメーションを一般化するための、新しいフィードフォワードアプローチである。
提案手法は,人間の再構築とアニメーションを,明示的なポーズ条件を導入することによって統合された枠組みに統合する。
実験の結果,HumanRAMは再現精度,アニメーション忠実度,実世界のデータセット上での一般化性能において,従来の手法をはるかに上回っていることがわかった。
論文 参考訳（メタデータ） (2025-06-03T17:50:05Z) - GAS: Generative Avatar Synthesis from a Single Image [54.95198111659466]
本研究では,1枚の画像から一対一かつ時間的にコヒーレントなアバターを合成する枠組みを提案する。
提案手法は, 回帰に基づく3次元再構成と拡散モデルの生成能力を組み合わせたものである。
論文 参考訳（メタデータ） (2025-02-10T19:00:39Z) - Synthetic Prior for Few-Shot Drivable Head Avatar Inversion [61.51887011274453]
そこで本研究では,合成前駆体に基づく乾燥可能な頭部アバターの少数ショット逆転法であるSynShotを提案する。
合成データのみに基づいて訓練された機械学習モデルに着想を得て,合成頭部の大きなデータセットから先行モデルを学習する手法を提案する。
論文 参考訳（メタデータ） (2025-01-12T19:01:05Z) - FaceLift: Learning Generalizable Single Image 3D Face Reconstruction from Synthetic Heads [54.24070918942727]
1枚の画像から高画質の360度3Dヘッドを復元するための新しいフィードフォワードアプローチであるFaceLiftを提案する。
パイプラインはまずマルチビューの潜伏拡散モデルを用いて、1つの入力から一貫したサイドビューとバックビューを生成する。
FaceLiftは、アイデンティティ保存、ディテールリカバリ、レンダリング品質において、最先端の3D顔再構成方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-12-23T18:59:49Z) - Drive-1-to-3: Enriching Diffusion Priors for Novel View Synthesis of Real Vehicles [81.29018359825872]
本稿では,実世界の課題に対して,大規模な事前学習モデルを微調整するための一連の優れたプラクティスを統合する。
具体的には,合成データと実運転データとの相違を考慮に入れたいくつかの戦略を開発する。
我々の洞察は、先行芸術よりも新しいビュー合成のためのFIDを68.8%値下げする効果のある微調整につながる。
論文 参考訳（メタデータ） (2024-12-19T03:39:13Z) - Human Multi-View Synthesis from a Single-View Model:Transferred Body and Face Representations [7.448124739584319]
人体と顔の表現を多視点合成に活用する革新的枠組みを提案する。
具体的には、大規模人間のデータセットに事前訓練された単一ビューモデルを用いて、多視点ボディ表現を開発する。
提案手法は現状の手法よりも優れており,多視点人間合成において優れた性能を発揮する。
論文 参考訳（メタデータ） (2024-12-04T04:02:17Z) - Diffusion Models are Efficient Data Generators for Human Mesh Recovery [55.37787289869703]
生成モデルにより生成された合成データはCGレンダリングデータと相補的であることを示す。
我々はHumanWildと呼ばれる最近の拡散モデルに基づく効率的なデータ生成パイプラインを提案する。
われわれの研究は、人間の3Dリカバリを現場に拡大するための道を開くかもしれない。
論文 参考訳（メタデータ） (2024-03-17T06:31:16Z) - Preface: A Data-driven Volumetric Prior for Few-shot Ultra
High-resolution Face Synthesis [0.0]
NeRFは、複雑な外観や毛髪と皮膚の反射効果を含む、人間の顔の非常に現実的な合成を可能にした。
本稿では,前者のトレーニング分布の一部ではない被験者の超高解像度な新しい視点の合成を可能にする,新しいヒューマン・フェイス・プレファレンスを提案する。
論文 参考訳（メタデータ） (2023-09-28T21:21:44Z) - Novel View Synthesis of Humans using Differentiable Rendering [50.57718384229912]
我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。
我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。
これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
論文 参考訳（メタデータ） (2023-03-28T10:48:33Z) - Human View Synthesis using a Single Sparse RGB-D Input [16.764379184593256]
本稿では,RGB-Dが疎い単一ビューセンサから取得した映像からリアルなレンダリングを生成するための,新しいビュー合成フレームワークを提案する。
エンハンサーネットワークは、元のビューから隠された領域でも全体の忠実さを活用し、細部まで細部までクリップレンダリングを生成する。
論文 参考訳（メタデータ） (2021-12-27T20:13:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。