論文の概要: Ray Conditioning: Trading Photo-consistency for Photo-realism in
Multi-view Image Generation
- arxiv url: http://arxiv.org/abs/2304.13681v2
- Date: Mon, 4 Sep 2023 23:02:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 05:35:02.641015
- Title: Ray Conditioning: Trading Photo-consistency for Photo-realism in
Multi-view Image Generation
- Title(参考訳): レイコンディショニング:マルチビュー画像生成におけるフォトリアリズムのトレーディングフォトコンディショナビリティ
- Authors: Eric Ming Chen, Sidhanth Holalkere, Ruyu Yan, Kai Zhang, Abe Davis
- Abstract要約: 我々は、光一貫性制約を緩和する幾何のない代替案であるレイコンディショニングを提案する。
本手法は,光フィールドに2D GANを条件付けることで,マルチビュー画像を生成する。
視点制御,最先端のフォトリアリズム,アイデンティティの整合性などにより,この手法は視点編集作業に特に適している。
- 参考スコア(独自算出の注目度): 10.300893339754827
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-view image generation attracts particular attention these days due to
its promising 3D-related applications, e.g., image viewpoint editing. Most
existing methods follow a paradigm where a 3D representation is first
synthesized, and then rendered into 2D images to ensure photo-consistency
across viewpoints. However, such explicit bias for photo-consistency sacrifices
photo-realism, causing geometry artifacts and loss of fine-scale details when
these methods are applied to edit real images. To address this issue, we
propose ray conditioning, a geometry-free alternative that relaxes the
photo-consistency constraint. Our method generates multi-view images by
conditioning a 2D GAN on a light field prior. With explicit viewpoint control,
state-of-the-art photo-realism and identity consistency, our method is
particularly suited for the viewpoint editing task.
- Abstract(参考訳): マルチビュー画像生成は、画像視点編集など、将来性のある3D関連アプリケーションのために、近年特に注目を集めている。
既存の手法の多くは、3D表現が最初に合成され、2D画像に描画され、視点間の光一貫性を保証するパラダイムに従っている。
しかし、このようなフォトコンシステンシーに対する明らかなバイアスは、フォトリアリズムを犠牲にし、実際の画像の編集にこれらの方法を適用すると、幾何学的アーティファクトと細部の詳細が失われる。
この問題に対処するために,フォトコンシステンシー制約を緩和する幾何学フリーな選択肢であるレイコンディショニングを提案する。
本手法は,光フィールドに2D GANを条件付けることで,マルチビュー画像を生成する。
視点制御,最先端のフォトリアリズム,アイデンティティの整合性などにより,視点編集作業に特に適している。
関連論文リスト
- GaussCtrl: Multi-View Consistent Text-Driven 3D Gaussian Splatting Editing [38.948892064761914]
GaussCtrlは、3D Gaussian Splatting(3DGS)によって再構成された3Dシーンを編集するテキスト駆動方式である。
私たちの重要な貢献は、複数ビューの一貫性のある編集であり、1つの画像を反復的に編集する代わりに、すべての画像を一緒に編集できる。
論文 参考訳(メタデータ) (2024-03-13T17:35:28Z) - Consolidating Attention Features for Multi-view Image Editing [126.19731971010475]
本研究では,空間制御に基づく幾何学的操作に着目し,様々な視点にまたがって編集プロセスを統合する手法を提案する。
編集画像の内部クエリ機能に基づいて訓練されたニューラルラジアンス場QNeRFを紹介する。
拡散時間の経過とともにクエリをよりよく統合する、プログレッシブで反復的な手法により、プロセスを洗練します。
論文 参考訳(メタデータ) (2024-02-22T18:50:18Z) - Image Sculpting: Precise Object Editing with 3D Geometry Control [33.9777412846583]
Image Sculptingは、3D幾何学とグラフィックスのツールを組み込むことで、2D画像を編集する新しいフレームワークである。
これは、ポーズ編集、回転、翻訳、3D合成、彫刻、シリアル追加といった、正確で定量化され、物理的に証明可能な編集オプションをサポートする。
論文 参考訳(メタデータ) (2024-01-02T18:59:35Z) - Explicitly Controllable 3D-Aware Portrait Generation [42.30481422714532]
ポーズ,アイデンティティ,表現,照明に関する意味的パラメータに基づいて,一貫した肖像画を生成する3次元肖像画生成ネットワークを提案する。
提案手法は,自然光の鮮明な表現によるリアルな肖像画を,自由視点で見る場合,先行技術よりも優れる。
論文 参考訳(メタデータ) (2022-09-12T17:40:08Z) - GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。
3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。
実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
論文 参考訳(メタデータ) (2022-06-18T16:58:49Z) - Self-Supervised Image Representation Learning with Geometric Set
Consistency [50.12720780102395]
本稿では,3次元幾何整合性に基づく自己教師付き画像表現学習法を提案する。
具体的には、画像ビュー内の特徴整合性を強化するために、コントラスト学習フレームワークに3次元幾何学的整合性を導入する。
論文 参考訳(メタデータ) (2022-03-29T08:57:33Z) - 3D GAN Inversion for Controllable Portrait Image Animation [45.55581298551192]
我々は新たに開発された3D GANを活用し、マルチビュー一貫性のある画像対象のポーズを明示的に制御できる。
ポートレート・イメージ・アニメーションの手法は、画像の品質、アイデンティティの保存、ポーズ・トランスファーの点で、従来の手法よりも優れていた。
論文 参考訳(メタデータ) (2022-03-25T04:06:06Z) - Geometric Processing for Image-based 3D Object Modeling [2.6397379133308214]
本稿では,幾何処理の3つの主要構成要素の最先端手法について紹介する:(1)ジオレファレンス; 2)画像密度マッチング3)テクスチャマッピング。
3Dオブジェクト再構成ワークフローにおける画像の大部分が自動化された幾何処理は、現実的な3Dモデリングの重要な部分となっている。
論文 参考訳(メタデータ) (2021-06-27T18:33:30Z) - Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。
VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
論文 参考訳(メタデータ) (2020-07-14T14:45:00Z) - Task-agnostic Temporally Consistent Facial Video Editing [84.62351915301795]
タスクに依存しない、時間的に一貫した顔画像編集フレームワークを提案する。
3次元再構成モデルに基づいて,本フレームワークはより統一的で不整合な方法で複数の編集タスクを処理するように設計されている。
現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
論文 参考訳(メタデータ) (2020-07-03T02:49:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。