論文の概要: Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image

• arxiv url: http://arxiv.org/abs/2012.09855v2
• Date: Fri, 18 Dec 2020 05:49:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-02 11:20:21.261740
• Title: Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image
• Title（参考訳）: 無限の自然: 単一画像からの自然シーンの永遠の視点生成
• Authors: Andrew Liu, Richard Tucker, Varun Jampani, Ameesh Makadia, Noah Snavely, Angjoo Kanazawa
• Abstract要約: 本研究では,1枚の画像から任意に長いカメラの軌跡に対応する新規ビューの長期生成という,永続的なビュー生成の問題について紹介する。 我々は、幾何合成と画像合成の両方を反復レンダリング、洗練、反復フレームワークで統合するハイブリッドアプローチを採用する。 提案手法は,手動のアノテーションを使わずに,一眼レフビデオシーケンスの集合から訓練することができる。
• 参考スコア（独自算出の注目度）: 73.56631858393148
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We introduce the problem of perpetual view generation -- long-range generation of novel views corresponding to an arbitrarily long camera trajectory given a single image. This is a challenging problem that goes far beyond the capabilities of current view synthesis methods, which work for a limited range of viewpoints and quickly degenerate when presented with a large camera motion. Methods designed for video generation also have limited ability to produce long video sequences and are often agnostic to scene geometry. We take a hybrid approach that integrates both geometry and image synthesis in an iterative render, refine, and repeat framework, allowing for long-range generation that cover large distances after hundreds of frames. Our approach can be trained from a set of monocular video sequences without any manual annotation. We propose a dataset of aerial footage of natural coastal scenes, and compare our method with recent view synthesis and conditional video generation baselines, showing that it can generate plausible scenes for much longer time horizons over large camera trajectories compared to existing methods. Please visit our project page at https://infinite-nature.github.io/.
• Abstract（参考訳）: 一つの画像が与えられた任意の長さのカメラ軌跡に対応する新しいビューの長距離生成という、永続的なビュー生成の問題を紹介する。 これは、限られた範囲の視点で動作し、大きなカメラの動きで提示されるとすぐに縮退する現在のビュー合成手法の能力をはるかに超える、難しい問題である。 ビデオ生成用に設計された手法は、長いビデオシーケンスを生成する能力に制限があり、しばしばシーン幾何学に依存しない。 私たちは、幾何と画像合成の両方を反復レンダリング、洗練、反復フレームワークに統合するハイブリッドアプローチを採用し、数百フレームの後に大きな距離をカバーする長距離生成を可能にします。 提案手法は,手動のアノテーションを使わずに,一眼レフビデオシーケンスの集合から訓練することができる。 提案手法は,近年の景観合成と条件付き映像生成ベースラインとを比較し,既存の手法と比較して,大規模なカメラ軌道上におけるより長い時間的地平線を撮影できることを示す。 プロジェクトのページはhttps://infinite-nature.github.io/。

関連論文リスト

• Cavia: Camera-controllable Multi-view Video Diffusion with View-Integrated Attention [62.2447324481159]
  Caviaはカメラ制御可能なマルチビュービデオ生成のための新しいフレームワークである。 我々のフレームワークは、空間的および時間的注意モジュールを拡張し、視点と時間的一貫性を改善します。 Caviaは、ユーザーが物体の動きを取得しながら、異なるカメラの動きを特定できる最初の製品だ。
  論文  参考訳（メタデータ） (2024-10-14T17:46:32Z)
• Streetscapes: Large-scale Consistent Street View Generation Using Autoregressive Video Diffusion [61.929653153389964]
  そこで本研究では,街並みを連続的に合成した街並みの景観を再現する手法を提案する。 我々の手法は、視覚的品質と一貫性を維持しつつ、複数の都市ブロックにまたがる、はるかに長い範囲のカメラ軌道にスケールすることができる。
  論文  参考訳（メタデータ） (2024-07-18T17:56:30Z)
• Explorative Inbetweening of Time and Space [46.77750028273578]
  与えられた開始フレームと終了フレームのみに基づいて映像生成を制御するために境界生成を導入する。 Time Reversal Fusionは、開始フレームと終了フレームに条件付けられた時間的に前方および後方にデノナイジングパスを融合する。 Time Reversal Fusionは、すべてのサブタスクにおける関連する作業よりも優れています。
  論文  参考訳（メタデータ） (2024-03-21T17:57:31Z)
• Fast View Synthesis of Casual Videos with Soup-of-Planes [24.35962788109883]
  シーンのダイナミックスやパララックスの欠如といった課題のため、Wild ビデオからの新たなビュー合成は困難である。 本稿では,モノクロ映像から高品質な新規ビューを効率よく合成するために,明示的な映像表現を再考する。 本手法は,高品質で最先端の手法に匹敵する品質の動画から高品質な新奇なビューをレンダリングすると同時に,トレーニングの100倍高速でリアルタイムレンダリングを可能にする。
  論文  参考訳（メタデータ） (2023-12-04T18:55:48Z)
• Multi-object Video Generation from Single Frame Layouts [84.55806837855846]
  本研究では,グローバルシーンを局所オブジェクトに合成するビデオ生成フレームワークを提案する。 我々のフレームワークは、画像生成手法からの非自明な適応であり、この分野では新しくなっています。 本モデルは広範に使用されている2つのビデオ認識ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-05-06T09:07:01Z)
• Towards Smooth Video Composition [59.134911550142455]
  ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。 本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。 単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-12-14T18:54:13Z)
• InfiniteNature-Zero: Learning Perpetual View Generation of Natural Scenes from Single Images [83.37640073416749]
  本研究では,1つの視点から自然シーンのフライスルー映像を学習する手法を提案する。 この能力は、カメラのポーズやシーンの複数のビューを必要とせずに、1枚の写真から学習される。
  論文  参考訳（メタデータ） (2022-07-22T15:41:06Z)
• Look Outside the Room: Synthesizing A Consistent Long-Term 3D Scene Video from A Single Image [8.13564646389987]
  一つのシーン画像と大きなカメラモーションの軌跡が与えられた一貫した長期映像を合成する新しい手法を提案する。 提案手法は,最先端のビュー合成手法よりも広いマージンで優れる。
  論文  参考訳（メタデータ） (2022-03-17T17:16:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。