論文の概要: DiffDreamer: Consistent Single-view Perpetual View Generation with
Conditional Diffusion Models
- arxiv url: http://arxiv.org/abs/2211.12131v1
- Date: Tue, 22 Nov 2022 10:06:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 18:10:55.825957
- Title: DiffDreamer: Consistent Single-view Perpetual View Generation with
Conditional Diffusion Models
- Title(参考訳): DiffDreamer: 条件付き拡散モデルによる一眼一眼ビュー生成
- Authors: Shengqu Cai, Eric Ryan Chan, Songyou Peng, Mohamad Shahbazi, Anton
Obukhov, Luc Van Gool and Gordon Wetzstein
- Abstract要約: DiffDreamerは、長いカメラの軌跡を描いた新しいビューを合成できるフレームワークであり、自然の風景をインターネットで収集した画像のみをトレーニングする。
画像条件付き拡散モデルでは,局所的および大域的整合性を従来のGAN法よりも大幅に向上させながら,長距離シーン外挿を効果的に行うことができることを示す。
- 参考スコア(独自算出の注目度): 91.94566873400277
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Perpetual view generation -- the task of generating long-range novel views by
flying into a given image -- has been a novel yet promising task. We introduce
DiffDreamer, an unsupervised framework capable of synthesizing novel views
depicting a long camera trajectory while training solely on internet-collected
images of nature scenes. We demonstrate that image-conditioned diffusion models
can effectively perform long-range scene extrapolation while preserving both
local and global consistency significantly better than prior GAN-based methods.
Project page: https://primecai.github.io/diffdreamer .
- Abstract(参考訳): 永遠のビュー生成 — 与えられた画像に飛び込んで長距離のノベルビューを生成するタスク — は、新しいが有望なタスクだ。
我々は,インターネットで収集された自然シーンの画像を訓練しながら,長眼カメラの軌跡を描いた新たなビューを合成することのできる教師なしフレームワークであるdiffdreamerを紹介する。
従来のgan法よりも局所的および大域的一貫性を保ちつつ,画像条件拡散モデルが長距離シーンの補間を効果的に行うことを実証する。
プロジェクトページ: https://primecai.github.io/diffdreamer。
関連論文リスト
- DiffPortrait3D: Controllable Diffusion for Zero-Shot Portrait View
Synthesis [19.45000676661085]
本稿では,DiffPortrait3Dについて述べる。DiffPortrait3Dは,3次元一貫性のあるフォトリアリスティック・ノベルビューを合成できる条件拡散モデルである。
一つのRGB入力が与えられた場合、我々は、新しいカメラビューから表現された、可塑性だが一貫した顔の詳細を合成することを目指している。
我々は、我々の挑戦的インザワイルドとマルチビューのベンチマークにおいて、質的にも定量的にも、最先端の結果を実証する。
論文 参考訳(メタデータ) (2023-12-20T13:31:11Z) - DiffuVST: Narrating Fictional Scenes with Global-History-Guided
Denoising Models [6.668241588219693]
ビジュアルなストーリーテリングは、現実のイメージを超えてますます求められている。
一般的に自己回帰デコーダを使用する現在の技術は、推論速度が低く、合成シーンには適していない。
本稿では,一連の視覚的記述を単一条件記述プロセスとしてモデル化する拡散型システムDiffuVSTを提案する。
論文 参考訳(メタデータ) (2023-12-12T08:40:38Z) - Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳(メタデータ) (2023-09-30T02:03:22Z) - ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural
Rendering [83.75284107397003]
本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。
本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。
マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2023-05-03T13:24:06Z) - Progressively Optimized Local Radiance Fields for Robust View Synthesis [76.55036080270347]
本稿では,1つのカジュアルな映像から大規模シーンのラディアンス場を再構成するアルゴリズムを提案する。
未知のポーズを扱うために、カメラのポーズと放射場を漸進的に推定する。
大規模な非有界シーンを扱うために、時間窓内にフレームで訓練された新しい局所放射場を動的に割り当てる。
論文 参考訳(メタデータ) (2023-03-24T04:03:55Z) - Diffusion-based Generation, Optimization, and Planning in 3D Scenes [89.63179422011254]
本稿では,3次元シーン理解のための条件付き生成モデルであるSceneDiffuserを紹介する。
SceneDiffuserは本質的にシーン認識、物理ベース、ゴール指向である。
従来のモデルに比べて大幅な改善が見られた。
論文 参考訳(メタデータ) (2023-01-15T03:43:45Z) - RUST: Latent Neural Scene Representations from Unposed Imagery [21.433079925439234]
2次元観察から3次元シーンの構造を推定することは、コンピュータビジョンにおける根本的な課題である。
ニューラルシーン表現に基づく最近の普及したアプローチは、非常に大きな影響を与えている。
RUST(Really Unposed Scene representation Transformer)は、RGB画像だけで訓練された新しいビューに対するポーズレスアプローチである。
論文 参考訳(メタデータ) (2022-11-25T18:59:10Z) - Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。
2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
論文 参考訳(メタデータ) (2022-11-22T18:59:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。