論文の概要: Survey on Controlable Image Synthesis with Deep Learning
- arxiv url: http://arxiv.org/abs/2307.10275v1
- Date: Tue, 18 Jul 2023 07:02:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 16:28:02.977853
- Title: Survey on Controlable Image Synthesis with Deep Learning
- Title（参考訳）: 深層学習による制御可能な画像合成に関する研究
- Authors: Shixiong Zhang, Jiao Li, Lu Yang
- Abstract要約: 本稿では,ディープラーニングを用いた3次元制御可能な画像合成に関する最近の研究について述べる。
まず,3次元制御可能な画像合成のためのデータセットと評価指標を紹介する。
光制御可能な画像合成手法も3次元再照明研究のために検討されている。
- 参考スコア（独自算出の注目度）: 15.29961293132048
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image synthesis has attracted emerging research interests in academic and
industry communities. Deep learning technologies especially the generative
models greatly inspired controllable image synthesis approaches and
applications, which aim to generate particular visual contents with latent
prompts. In order to further investigate low-level controllable image synthesis
problem which is crucial for fine image rendering and editing tasks, we present
a survey of some recent works on 3D controllable image synthesis using deep
learning. We first introduce the datasets and evaluation indicators for 3D
controllable image synthesis. Then, we review the state-of-the-art research for
geometrically controllable image synthesis in two aspects: 1)
Viewpoint/pose-controllable image synthesis; 2) Structure/shape-controllable
image synthesis. Furthermore, the photometrically controllable image synthesis
approaches are also reviewed for 3D re-lighting researches. While the emphasis
is on 3D controllable image synthesis algorithms, the related applications,
products and resources are also briefly summarized for practitioners.
- Abstract（参考訳）: 画像合成は、学術および産業のコミュニティにおける新たな研究関心を惹きつけている。
ディープラーニング技術、特に生成モデルは、潜在的なプロンプトで特定の視覚コンテンツを生成することを目的とした、制御可能な画像合成アプローチやアプリケーションに大きな影響を与えた。
本稿では,画像のレンダリング・編集作業において重要な低レベル制御可能画像合成問題をさらに検討するため,ディープラーニングを用いた3次元制御可能画像合成に関する最近の研究について報告する。
まず,3次元制御可能な画像合成のためのデータセットと評価指標を紹介する。
次に、幾何学的に制御可能な画像合成のための最先端の研究を2つの側面で概説する。
1) 視点/目的制御可能な画像合成
2) 構造/形状制御可能な画像合成。
さらに,光量制御可能な画像合成手法についても検討した。
3D制御可能な画像合成アルゴリズムに重点を置いているが、関連するアプリケーション、製品、リソースも実践者のために簡潔に要約されている。
関連論文リスト
- ORES: Open-vocabulary Responsible Visual Synthesis [104.7572323359984]
我々は、新しいタスクであるオープン語彙対応視覚合成(ORES)を定式化し、そこで合成モデルは、禁止された視覚概念を避けることができる。
この問題に対処するため,我々はTIN(Two-stage Intervention)フレームワークを提案する。
1)大規模言語モデル(LLM)による学習可能な命令による書き直し,2)拡散モデルへの迅速な介入による合成を行うことで,概念を避けながら可能な限りユーザのクエリに従うイメージを効果的に合成することができる。
論文 参考訳（メタデータ） (2023-08-26T06:47:34Z) - ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real
Novel View Synthesis via Contrastive Learning [102.46382882098847]
まず,合成から現実への新規な視点合成における合成データの影響について検討した。
本稿では,幾何制約を伴う多視点一貫した特徴を学習するために,幾何対応のコントラスト学習を導入することを提案する。
提案手法は,PSNR,SSIM,LPIPSの点で,既存の一般化可能な新規ビュー合成手法よりも高い画質で精細な画像を描画することができる。
論文 参考訳（メタデータ） (2023-03-20T12:06:14Z) - HORIZON: High-Resolution Semantically Controlled Panorama Synthesis [105.55531244750019]
パノラマ合成は、仮想世界の中心にユーザーを没入させ、360度の視覚的な風景を再現する。
視覚合成の最近の進歩は、2次元平面画像における意味制御の可能性を解き放ったが、これらの手法のパノラマ合成への直接的応用は歪んだ内容を生み出す。
我々は,高分解能パノラマを生成するための革新的な枠組みを公表し,洗練された球面モデリングによる球面歪みとエッジ不連続性の問題に着目した。
論文 参考訳（メタデータ） (2022-10-10T09:43:26Z) - Pathology Synthesis of 3D-Consistent Cardiac MR Images using 2D VAEs and
GANs [0.5039813366558306]
本稿では,教師付きディープラーニング(DL)トレーニングの適用のためのラベル付きデータを生成する手法を提案する。
画像合成はラベル変形とラベルから画像への変換からなる。
心臓MRI画像のデータベースを多様化・拡張する手法として,このようなアプローチが有効であることを示す。
論文 参考訳（メタデータ） (2022-09-09T10:17:49Z) - Realistic Image Synthesis with Configurable 3D Scene Layouts [59.872657806747576]
本稿では,3次元シーンレイアウトに基づくリアルな画像合成手法を提案する。
提案手法では, セマンティッククラスラベルを入力として3Dシーンを抽出し, 3Dシーンの描画ネットワークを訓練する。
訓練された絵画ネットワークにより、入力された3Dシーンのリアルな外観の画像を描画し、操作することができる。
論文 参考訳（メタデータ） (2021-08-23T09:44:56Z) - A Survey on Adversarial Image Synthesis [0.0]
本稿では,画像合成に使用される手法の分類,テキスト・画像合成と画像・画像翻訳の異なるモデルについて検討し,いくつかの評価指標と,GANを用いた画像合成における今後の研究方向について考察する。
論文 参考訳（メタデータ） (2021-06-30T13:31:48Z) - pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware
Image Synthesis [45.51447644809714]
高品質な3D画像合成のための新しい生成モデルである周期的インプリシット生成適応ネットワーク(pi$-GAN または pi-GAN)を提案する。
提案手法は,複数の実・合成データセットを用いた3次元認識画像合成のための最先端結果を得る。
論文 参考訳（メタデータ） (2020-12-02T01:57:46Z) - Semantic View Synthesis [56.47999473206778]
我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。
まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。
次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
論文 参考訳（メタデータ） (2020-08-24T17:59:46Z) - Hierarchy Composition GAN for High-fidelity Image Synthesis [57.32311953820988]
本稿では,革新的階層構成GAN(HIC-GAN)を提案する。
HIC-GANは、幾何学と外観領域における画像合成をエンドツーエンドのトレーニング可能なネットワークに組み込んでいる。
シーンテキスト画像合成, 肖像画編集, 室内レンダリングタスクの実験により, 提案したHIC-GANは, 質的, 定量的に優れた合成性能が得られることを示した。
論文 参考訳（メタデータ） (2019-05-12T11:11:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。