論文の概要: Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos

• arxiv url: http://arxiv.org/abs/2010.11800v1
• Date: Thu, 22 Oct 2020 15:27:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 06:57:53.932831
• Title: Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos
• Title（参考訳）: 空のキャッスル:ビデオのダイナミックなスカイリプレースとハーモニゼーション
• Authors: Zhengxia Zou
• Abstract要約: 本稿では,映像の空の交換と調和のための視覚的手法を提案する。 我々は,この芸術的創造過程を,スカイマット,モーション推定,画像ブレンディングなどの2つのプロキシタスクに分解する。 実験は、ハンドヘルドスマートフォンとダッシュカメラによって野生で撮影される様々なビデオで行われます。
• 参考スコア（独自算出の注目度）: 14.6001438297068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a vision-based method for video sky replacement and harmonization, which can automatically generate realistic and dramatic sky backgrounds in videos with controllable styles. Different from previous sky editing methods that either focus on static photos or require inertial measurement units integrated in smartphones on shooting videos, our method is purely vision-based, without any requirements on the capturing devices, and can be well applied to either online or offline processing scenarios. Our method runs in real-time and is free of user interactions. We decompose this artistic creation process into a couple of proxy tasks including sky matting, motion estimation, and image blending. Experiments are conducted on videos diversely captured in the wild by handheld smartphones and dash cameras, and show high fidelity and good generalization of our method in both visual quality and lighting/motion dynamics. Our code and animated results are available at \url{https://jiupinjia.github.io/skyar/}.
• Abstract（参考訳）: 本稿では,制御可能なスタイルで映像に写実的で劇的な背景を自動的に生成できる映像スカイ置換と調和のためのビジョンベース手法を提案する。 静止画に焦点をあてたり、スマートフォンに内蔵された慣性測定装置を必要とする従来のスカイ編集方法とは異なり、本手法は純粋に視覚ベースであり、キャプチャー装置に不要であり、オンラインまたはオフラインの処理シナリオによく適用できる。 本手法はリアルタイムに動作し,ユーザインタラクションを含まない。 我々は,この芸術的創造過程を,スカイマット,モーション推定,画像ブレンディングなどの2つのプロキシタスクに分解する。 スマートフォンやダッシュカメラで多彩に撮影されたビデオで実験を行い、視覚品質と照明・運動ダイナミクスの両方において高い忠実性と優れた一般化を示す。 私たちのコードとアニメーションの結果は、 \url{https://jiupinjia.github.io/skyar/}で入手できる。

関連論文リスト

• Replace Anyone in Videos [39.4019337319795]
  ビデオ中の人間の動きのローカライズと操作に焦点を当てたReplaceAnyoneフレームワークを提案する。 具体的には、このタスクをイメージ条件付きポーズ駆動ビデオインペインティングパラダイムとして定式化する。 形状漏れを回避し,局所制御のきめ細かな制御を可能にするために,規則形状と不規則形状を含む多種多様なマスク形式を導入する。
  論文  参考訳（メタデータ） (2024-09-30T03:27:33Z)
• WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
  ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。 従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。 衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。 私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
  論文  参考訳（メタデータ） (2024-07-15T11:21:03Z)
• SVG: 3D Stereoscopic Video Generation via Denoising Frame Matrix [60.48666051245761]
  本研究では,3次元立体映像生成のためのポーズフリーかつトレーニングフリーな手法を提案する。 提案手法は, 推定ビデオ深度を用いた立体視ベースライン上のカメラビューにモノクロ映像をワープする。 本研究では,映像の画質向上を図るために,非閉塞境界再注入方式を開発した。
  論文  参考訳（メタデータ） (2024-06-29T08:33:55Z)
• Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
  映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。 イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
  論文  参考訳（メタデータ） (2024-06-21T17:55:05Z)
• Generative Rendering: Controllable 4D-Guided Video Generation with 2D Diffusion Models [40.71940056121056]
  本稿では,動的3次元メッシュの制御可能性と,新しい拡散モデルの表現性と編集性を組み合わせた新しいアプローチを提案する。 本手法は,トリグアセットのアニメーションやカメラパスの変更によって,動きを得られる様々な例について実証する。
  論文  参考訳（メタデータ） (2023-12-03T14:17:11Z)
• Learning to Act from Actionless Videos through Dense Correspondences [87.1243107115642]
  本稿では,様々なロボットや環境にまたがる多様なタスクを確実に実行可能なビデオベースのロボットポリシーを構築するためのアプローチを提案する。 本手法は,ロボットの目標を指定するための汎用表現として,状態情報と行動情報の両方を符号化するタスク非依存表現として画像を利用する。 テーブルトップ操作とナビゲーションタスクの学習方針における我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-12T17:59:23Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Low Light Video Enhancement by Learning on Static Videos with Cross-Frame Attention [10.119600046984088]
  静的ビデオ上でのモデルトレーニングにより,低光度映像強調のための深層学習法を開発した。 既存の方法はフレーム単位で動作し、隣接するフレーム間の関係を利用できない。 本手法は,静的ビデオのみをトレーニングした場合に,他の最先端ビデオ強調アルゴリズムよりも優れることを示す。
  論文  参考訳（メタデータ） (2022-10-09T15:49:46Z)
• Playable Environments: Video Manipulation in Space and Time [98.0621309257937]
  再生可能な環境 - 空間と時間におけるインタラクティブなビデオ生成と操作のための新しい表現。 提案フレームワークでは,1枚の画像を推論時に生成し,対象物を3次元に移動させ,所望のアクションを連続して生成する。 提案手法は,各フレームの環境状態を構築し,提案したアクションモジュールで操作し,ボリュームレンダリングで画像空間に復号化することができる。
  論文  参考訳（メタデータ） (2022-03-03T18:51:05Z)
• Sky Optimization: Semantically aware image processing of skies in low-light photography [26.37385679374474]
  本稿では,カメラパイプラインの一部として動作し,正確なスカイアルファマスクを作成する自動化手法を提案する。 本手法は,モバイル端末上での1枚の画像あたり50秒未満で,エンドツーエンドの空の最適化を行う。
  論文  参考訳（メタデータ） (2020-06-15T20:19:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。