論文の概要: Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos

• arxiv url: http://arxiv.org/abs/2010.11800v1
• Date: Thu, 22 Oct 2020 15:27:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 06:57:53.932831
• Title: Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos
• Title（参考訳）: 空のキャッスル:ビデオのダイナミックなスカイリプレースとハーモニゼーション
• Authors: Zhengxia Zou
• Abstract要約: 本稿では,映像の空の交換と調和のための視覚的手法を提案する。 我々は,この芸術的創造過程を,スカイマット,モーション推定,画像ブレンディングなどの2つのプロキシタスクに分解する。 実験は、ハンドヘルドスマートフォンとダッシュカメラによって野生で撮影される様々なビデオで行われます。
• 参考スコア（独自算出の注目度）: 14.6001438297068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a vision-based method for video sky replacement and harmonization, which can automatically generate realistic and dramatic sky backgrounds in videos with controllable styles. Different from previous sky editing methods that either focus on static photos or require inertial measurement units integrated in smartphones on shooting videos, our method is purely vision-based, without any requirements on the capturing devices, and can be well applied to either online or offline processing scenarios. Our method runs in real-time and is free of user interactions. We decompose this artistic creation process into a couple of proxy tasks including sky matting, motion estimation, and image blending. Experiments are conducted on videos diversely captured in the wild by handheld smartphones and dash cameras, and show high fidelity and good generalization of our method in both visual quality and lighting/motion dynamics. Our code and animated results are available at \url{https://jiupinjia.github.io/skyar/}.
• Abstract（参考訳）: 本稿では,制御可能なスタイルで映像に写実的で劇的な背景を自動的に生成できる映像スカイ置換と調和のためのビジョンベース手法を提案する。 静止画に焦点をあてたり、スマートフォンに内蔵された慣性測定装置を必要とする従来のスカイ編集方法とは異なり、本手法は純粋に視覚ベースであり、キャプチャー装置に不要であり、オンラインまたはオフラインの処理シナリオによく適用できる。 本手法はリアルタイムに動作し,ユーザインタラクションを含まない。 我々は,この芸術的創造過程を,スカイマット,モーション推定,画像ブレンディングなどの2つのプロキシタスクに分解する。 スマートフォンやダッシュカメラで多彩に撮影されたビデオで実験を行い、視覚品質と照明・運動ダイナミクスの両方において高い忠実性と優れた一般化を示す。 私たちのコードとアニメーションの結果は、 \url{https://jiupinjia.github.io/skyar/}で入手できる。

関連論文リスト

• Learning Camera Movement Control from Real-World Drone Videos [25.10006841389459]
  既存のAIビデオ撮影手法は、シミュレーショントレーニングにおいて、外観の多様性が限られている。 実世界のトレーニングデータを収集するスケーラブルな手法を提案する。 本システムでは,カメラの動きを効果的に学習できることが示される。
  論文  参考訳（メタデータ） (2024-12-12T18:59:54Z)
• MegaSaM: Accurate, Fast, and Robust Structure and Motion from Casual Dynamic Videos [104.1338295060383]
  本研究では,ダイナミックシーンのカジュアルモノクラー映像から,カメラパラメータと奥行きマップの精度,高速,堅牢な推定を可能にするシステムを提案する。 本システムは,先行作業や同時作業と比較して,カメラポーズや深度推定において有意に精度が高く,頑健である。
  論文  参考訳（メタデータ） (2024-12-05T18:59:42Z)
• Horizon-GS: Unified 3D Gaussian Splatting for Large-Scale Aerial-to-Ground Scenes [55.15494682493422]
  本稿では,ガウシアン・スプレイティング技術に基づく新しい手法であるHorizon-GSを導入し,航空やストリートビューの統一的な再構築とレンダリングに挑戦する。 提案手法は,これらの視点と新たなトレーニング戦略を組み合わせることによる重要な課題に対処し,視点の相違を克服し,高忠実度シーンを生成する。
  論文  参考訳（メタデータ） (2024-12-02T17:42:00Z)
• Replace Anyone in Videos [39.4019337319795]
  ビデオ中の人間の動きのローカライズと操作に焦点を当てたReplaceAnyoneフレームワークを提案する。 具体的には、このタスクをイメージ条件付きポーズ駆動ビデオインペインティングパラダイムとして定式化する。 形状漏れを回避し,局所制御のきめ細かな制御を可能にするために,規則形状と不規則形状を含む多種多様なマスク形式を導入する。
  論文  参考訳（メタデータ） (2024-09-30T03:27:33Z)
• SVG: 3D Stereoscopic Video Generation via Denoising Frame Matrix [60.48666051245761]
  本研究では,3次元立体映像生成のためのポーズフリーかつトレーニングフリーな手法を提案する。 提案手法は, 推定ビデオ深度を用いた立体視ベースライン上のカメラビューにモノクロ映像をワープする。 本研究では,映像の画質向上を図るために,非閉塞境界再注入方式を開発した。
  論文  参考訳（メタデータ） (2024-06-29T08:33:55Z)
• Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
  映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。 イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
  論文  参考訳（メタデータ） (2024-06-21T17:55:05Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Low Light Video Enhancement by Learning on Static Videos with Cross-Frame Attention [10.119600046984088]
  静的ビデオ上でのモデルトレーニングにより,低光度映像強調のための深層学習法を開発した。 既存の方法はフレーム単位で動作し、隣接するフレーム間の関係を利用できない。 本手法は,静的ビデオのみをトレーニングした場合に,他の最先端ビデオ強調アルゴリズムよりも優れることを示す。
  論文  参考訳（メタデータ） (2022-10-09T15:49:46Z)
• Playable Environments: Video Manipulation in Space and Time [98.0621309257937]
  再生可能な環境 - 空間と時間におけるインタラクティブなビデオ生成と操作のための新しい表現。 提案フレームワークでは,1枚の画像を推論時に生成し,対象物を3次元に移動させ,所望のアクションを連続して生成する。 提案手法は,各フレームの環境状態を構築し,提案したアクションモジュールで操作し,ボリュームレンダリングで画像空間に復号化することができる。
  論文  参考訳（メタデータ） (2022-03-03T18:51:05Z)
• Sky Optimization: Semantically aware image processing of skies in low-light photography [26.37385679374474]
  本稿では,カメラパイプラインの一部として動作し,正確なスカイアルファマスクを作成する自動化手法を提案する。 本手法は,モバイル端末上での1枚の画像あたり50秒未満で,エンドツーエンドの空の最適化を行う。
  論文  参考訳（メタデータ） (2020-06-15T20:19:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。