論文の概要: Infinite Nature: Perpetual View Generation of Natural Scenes from a
Single Image
- arxiv url: http://arxiv.org/abs/2012.09855v2
- Date: Fri, 18 Dec 2020 05:49:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-02 11:20:21.261740
- Title: Infinite Nature: Perpetual View Generation of Natural Scenes from a
Single Image
- Title(参考訳): 無限の自然: 単一画像からの自然シーンの永遠の視点生成
- Authors: Andrew Liu, Richard Tucker, Varun Jampani, Ameesh Makadia, Noah
Snavely, Angjoo Kanazawa
- Abstract要約: 本研究では,1枚の画像から任意に長いカメラの軌跡に対応する新規ビューの長期生成という,永続的なビュー生成の問題について紹介する。
我々は、幾何合成と画像合成の両方を反復レンダリング、洗練、反復フレームワークで統合するハイブリッドアプローチを採用する。
提案手法は,手動のアノテーションを使わずに,一眼レフビデオシーケンスの集合から訓練することができる。
- 参考スコア(独自算出の注目度): 73.56631858393148
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: We introduce the problem of perpetual view generation -- long-range
generation of novel views corresponding to an arbitrarily long camera
trajectory given a single image. This is a challenging problem that goes far
beyond the capabilities of current view synthesis methods, which work for a
limited range of viewpoints and quickly degenerate when presented with a large
camera motion. Methods designed for video generation also have limited ability
to produce long video sequences and are often agnostic to scene geometry. We
take a hybrid approach that integrates both geometry and image synthesis in an
iterative render, refine, and repeat framework, allowing for long-range
generation that cover large distances after hundreds of frames. Our approach
can be trained from a set of monocular video sequences without any manual
annotation. We propose a dataset of aerial footage of natural coastal scenes,
and compare our method with recent view synthesis and conditional video
generation baselines, showing that it can generate plausible scenes for much
longer time horizons over large camera trajectories compared to existing
methods. Please visit our project page at https://infinite-nature.github.io/.
- Abstract(参考訳): 一つの画像が与えられた任意の長さのカメラ軌跡に対応する新しいビューの長距離生成という、永続的なビュー生成の問題を紹介する。
これは、限られた範囲の視点で動作し、大きなカメラの動きで提示されるとすぐに縮退する現在のビュー合成手法の能力をはるかに超える、難しい問題である。
ビデオ生成用に設計された手法は、長いビデオシーケンスを生成する能力に制限があり、しばしばシーン幾何学に依存しない。
私たちは、幾何と画像合成の両方を反復レンダリング、洗練、反復フレームワークに統合するハイブリッドアプローチを採用し、数百フレームの後に大きな距離をカバーする長距離生成を可能にします。
提案手法は,手動のアノテーションを使わずに,一眼レフビデオシーケンスの集合から訓練することができる。
提案手法は,近年の景観合成と条件付き映像生成ベースラインとを比較し,既存の手法と比較して,大規模なカメラ軌道上におけるより長い時間的地平線を撮影できることを示す。
プロジェクトのページはhttps://infinite-nature.github.io/。
関連論文リスト
- Fast View Synthesis of Casual Videos [25.581158975853334]
シーンのダイナミックスやパララックスの欠如といった課題のため、Wild ビデオからの新たなビュー合成は困難である。
本稿では,モノクロ映像から高品質な新規ビューを効率よく合成するために,明示的な映像表現を再考する。
本手法は,高品質で最先端の手法に匹敵する品質の動画から高品質な新奇なビューをレンダリングすると同時に,トレーニングの100倍高速でリアルタイムレンダリングを可能にする。
論文 参考訳(メタデータ) (2023-12-04T18:55:48Z) - SEINE: Short-to-Long Video Diffusion Model for Generative Transition and
Prediction [93.26613503521664]
本稿では、生成遷移と予測に焦点をあてた、短時間から長期のビデオ拡散モデルSEINEを提案する。
テキスト記述に基づく遷移を自動的に生成するランダムマスクビデオ拡散モデルを提案する。
我々のモデルは、コヒーレンスと視覚的品質を保証するトランジションビデオを生成する。
論文 参考訳(メタデータ) (2023-10-31T17:58:17Z) - Multi-object Video Generation from Single Frame Layouts [84.55806837855846]
本研究では,グローバルシーンを局所オブジェクトに合成するビデオ生成フレームワークを提案する。
我々のフレームワークは、画像生成手法からの非自明な適応であり、この分野では新しくなっています。
本モデルは広範に使用されている2つのビデオ認識ベンチマークで評価されている。
論文 参考訳(メタデータ) (2023-05-06T09:07:01Z) - Long-Term Photometric Consistent Novel View Synthesis with Diffusion
Models [24.301334966272297]
本稿では,特定のカメラ軌跡に整合したフォトリアリスティックな画像列を生成できる新しい生成モデルを提案する。
生成したビューのシーケンス上の一貫性を測定するために、新しい計量、しきい値付き対称極性距離(TSED)を導入する。
論文 参考訳(メタデータ) (2023-04-21T02:01:02Z) - SceneScape: Text-Driven Consistent Scene Generation [14.348512536556413]
本稿では,事前学習したテキスト・ツー・イメージモデルと事前学習した単眼深度予測モデルを組み合わせることで,このような動画をオンライン形式で生成する新しいフレームワークを提案する。
3次元の整合性を達成するための重要な課題に対処するため、オンラインテストタイムトレーニングを展開、現在のフレームの予測深度マップが合成シーンと幾何的に整合するように促す。
限定的な領域のみに適用できる以前の作品とは対照的に,本手法では,宇宙船や洞窟,あるいは氷の城の歩行など,多様な場面を創出する。
論文 参考訳(メタデータ) (2023-02-02T14:47:19Z) - Towards Smooth Video Composition [59.134911550142455]
ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。
本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。
単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
論文 参考訳(メタデータ) (2022-12-14T18:54:13Z) - InfiniteNature-Zero: Learning Perpetual View Generation of Natural
Scenes from Single Images [83.37640073416749]
本研究では,1つの視点から自然シーンのフライスルー映像を学習する手法を提案する。
この能力は、カメラのポーズやシーンの複数のビューを必要とせずに、1枚の写真から学習される。
論文 参考訳(メタデータ) (2022-07-22T15:41:06Z) - Look Outside the Room: Synthesizing A Consistent Long-Term 3D Scene
Video from A Single Image [8.13564646389987]
一つのシーン画像と大きなカメラモーションの軌跡が与えられた一貫した長期映像を合成する新しい手法を提案する。
提案手法は,最先端のビュー合成手法よりも広いマージンで優れる。
論文 参考訳(メタデータ) (2022-03-17T17:16:16Z) - A Good Image Generator Is What You Need for High-Resolution Video
Synthesis [73.82857768949651]
現代画像生成装置を用いて高解像度映像のレンダリングを行うフレームワークを提案する。
我々は,映像合成問題を,予め訓練された固定された画像生成装置の潜時空間における軌跡の発見とみなす。
本稿では,コンテンツや動きが絡み合っている所望の軌跡を検出するモーションジェネレータを提案する。
論文 参考訳(メタデータ) (2021-04-30T15:38:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。