論文の概要: Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos
- arxiv url: http://arxiv.org/abs/2010.11800v1
- Date: Thu, 22 Oct 2020 15:27:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 06:57:53.932831
- Title: Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos
- Title(参考訳): 空のキャッスル:ビデオのダイナミックなスカイリプレースとハーモニゼーション
- Authors: Zhengxia Zou
- Abstract要約: 本稿では,映像の空の交換と調和のための視覚的手法を提案する。
我々は,この芸術的創造過程を,スカイマット,モーション推定,画像ブレンディングなどの2つのプロキシタスクに分解する。
実験は、ハンドヘルドスマートフォンとダッシュカメラによって野生で撮影される様々なビデオで行われます。
- 参考スコア(独自算出の注目度): 14.6001438297068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a vision-based method for video sky replacement and
harmonization, which can automatically generate realistic and dramatic sky
backgrounds in videos with controllable styles. Different from previous sky
editing methods that either focus on static photos or require inertial
measurement units integrated in smartphones on shooting videos, our method is
purely vision-based, without any requirements on the capturing devices, and can
be well applied to either online or offline processing scenarios. Our method
runs in real-time and is free of user interactions. We decompose this artistic
creation process into a couple of proxy tasks including sky matting, motion
estimation, and image blending. Experiments are conducted on videos diversely
captured in the wild by handheld smartphones and dash cameras, and show high
fidelity and good generalization of our method in both visual quality and
lighting/motion dynamics. Our code and animated results are available at
\url{https://jiupinjia.github.io/skyar/}.
- Abstract(参考訳): 本稿では,制御可能なスタイルで映像に写実的で劇的な背景を自動的に生成できる映像スカイ置換と調和のためのビジョンベース手法を提案する。
静止画に焦点をあてたり、スマートフォンに内蔵された慣性測定装置を必要とする従来のスカイ編集方法とは異なり、本手法は純粋に視覚ベースであり、キャプチャー装置に不要であり、オンラインまたはオフラインの処理シナリオによく適用できる。
本手法はリアルタイムに動作し,ユーザインタラクションを含まない。
我々は,この芸術的創造過程を,スカイマット,モーション推定,画像ブレンディングなどの2つのプロキシタスクに分解する。
スマートフォンやダッシュカメラで多彩に撮影されたビデオで実験を行い、視覚品質と照明・運動ダイナミクスの両方において高い忠実性と優れた一般化を示す。
私たちのコードとアニメーションの結果は、 \url{https://jiupinjia.github.io/skyar/}で入手できる。
関連論文リスト
- Generative Rendering: Controllable 4D-Guided Video Generation with 2D
Diffusion Models [40.71940056121056]
本稿では,動的3次元メッシュの制御可能性と,新しい拡散モデルの表現性と編集性を組み合わせた新しいアプローチを提案する。
本手法は,トリグアセットのアニメーションやカメラパスの変更によって,動きを得られる様々な例について実証する。
論文 参考訳(メタデータ) (2023-12-03T14:17:11Z) - Learning to Act from Actionless Videos through Dense Correspondences [87.1243107115642]
本稿では,様々なロボットや環境にまたがる多様なタスクを確実に実行可能なビデオベースのロボットポリシーを構築するためのアプローチを提案する。
本手法は,ロボットの目標を指定するための汎用表現として,状態情報と行動情報の両方を符号化するタスク非依存表現として画像を利用する。
テーブルトップ操作とナビゲーションタスクの学習方針における我々のアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2023-10-12T17:59:23Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - Low Light Video Enhancement by Learning on Static Videos with
Cross-Frame Attention [10.119600046984088]
静的ビデオ上でのモデルトレーニングにより,低光度映像強調のための深層学習法を開発した。
既存の方法はフレーム単位で動作し、隣接するフレーム間の関係を利用できない。
本手法は,静的ビデオのみをトレーニングした場合に,他の最先端ビデオ強調アルゴリズムよりも優れることを示す。
論文 参考訳(メタデータ) (2022-10-09T15:49:46Z) - InfiniteNature-Zero: Learning Perpetual View Generation of Natural
Scenes from Single Images [83.37640073416749]
本研究では,1つの視点から自然シーンのフライスルー映像を学習する手法を提案する。
この能力は、カメラのポーズやシーンの複数のビューを必要とせずに、1枚の写真から学習される。
論文 参考訳(メタデータ) (2022-07-22T15:41:06Z) - Playable Environments: Video Manipulation in Space and Time [98.0621309257937]
再生可能な環境 - 空間と時間におけるインタラクティブなビデオ生成と操作のための新しい表現。
提案フレームワークでは,1枚の画像を推論時に生成し,対象物を3次元に移動させ,所望のアクションを連続して生成する。
提案手法は,各フレームの環境状態を構築し,提案したアクションモジュールで操作し,ボリュームレンダリングで画像空間に復号化することができる。
論文 参考訳(メタデータ) (2022-03-03T18:51:05Z) - Egocentric Videoconferencing [86.88092499544706]
ビデオ会議は、価値ある非言語コミュニケーションと表情の手がかりを描写するが、通常は前面カメラを必要とする。
本稿では、スマートグラスに統合可能な低コストのウェアラブルエゴセントリックカメラセットを提案する。
私たちのゴールは、古典的なビデオ通話を模倣することであり、それゆえ、私たちはこのカメラの自我中心の視点を前向きのビデオに変えます。
論文 参考訳(メタデータ) (2021-07-07T09:49:39Z) - Relighting Images in the Wild with a Self-Supervised Siamese
Auto-Encoder [62.580345486483886]
本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。
この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。
Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
論文 参考訳(メタデータ) (2020-12-11T16:08:50Z) - Batteries, camera, action! Learning a semantic control space for
expressive robot cinematography [15.895161373307378]
我々は,意味空間における複雑なカメラ位置決めパラメータの編集を可能にする,データ駆動型フレームワークを開発した。
まず,写真実写シミュレータにおいて,多様な撮影範囲を持つ映像クリップのデータベースを作成する。
クラウドソーシングフレームワークには何百人もの参加者が参加して,各クリップのセマンティック記述子セットのスコアを取得しています。
論文 参考訳(メタデータ) (2020-11-19T21:56:53Z) - Sky Optimization: Semantically aware image processing of skies in
low-light photography [26.37385679374474]
本稿では,カメラパイプラインの一部として動作し,正確なスカイアルファマスクを作成する自動化手法を提案する。
本手法は,モバイル端末上での1枚の画像あたり50秒未満で,エンドツーエンドの空の最適化を行う。
論文 参考訳(メタデータ) (2020-06-15T20:19:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。