論文の概要: JAWS: Just A Wild Shot for Cinematic Transfer in Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2303.15427v1
- Date: Mon, 27 Mar 2023 17:52:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 14:10:18.027036
- Title: JAWS: Just A Wild Shot for Cinematic Transfer in Neural Radiance Fields
- Title（参考訳）: JAWS: ニューラルラジアンス分野におけるシネマティックトランスファーのためのワイルドショット
- Authors: Xi Wang, Robin Courant, Jinglei Shi, Eric Marchand, Marc Christie
- Abstract要約: JAWSは、Wild内の参照ビデオクリップから新しく生成されたクリップへの、映像的特徴のロバストな転送を実現している。
我々は、暗黙の神経表現(INR)を用いて、参照クリップと同じ映画的特徴を共有するクリップを計算する。
結果は,映画からよく知られたカメラシーケンスを再現する能力を示す。
- 参考スコア（独自算出の注目度）: 7.513653868519723
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents JAWS, an optimization-driven approach that achieves the
robust transfer of visual cinematic features from a reference in-the-wild video
clip to a newly generated clip. To this end, we rely on an
implicit-neural-representation (INR) in a way to compute a clip that shares the
same cinematic features as the reference clip. We propose a general formulation
of a camera optimization problem in an INR that computes extrinsic and
intrinsic camera parameters as well as timing. By leveraging the
differentiability of neural representations, we can back-propagate our designed
cinematic losses measured on proxy estimators through a NeRF network to the
proposed cinematic parameters directly. We also introduce specific enhancements
such as guidance maps to improve the overall quality and efficiency. Results
display the capacity of our system to replicate well known camera sequences
from movies, adapting the framing, camera parameters and timing of the
generated video clip to maximize the similarity with the reference clip.
- Abstract（参考訳）: 本稿では,映像クリップから新たに生成されたクリップへの映像特徴のロバストな移動を実現する最適化駆動アプローチであるjawsを提案する。
この目的のために、我々は暗黙の神経表現(INR)を用いて、参照クリップと同じ映画的特徴を共有するクリップを計算する。
本稿では,外部カメラパラメータと固有カメラパラメータを時間とともに計算するINRにおいて,カメラ最適化問題の一般化を提案する。
神経表現の微分可能性を活用することで,提案する映画パラメータに直接nerfネットワークを介して,プロキシ推定器で測定した映像ロスをバックプロパゲートすることができる。
また、全体的な品質と効率を改善するためのガイダンスマップなどの具体的な拡張も導入しています。
その結果、映像からよく知られたカメラシーケンスを再現し、フレーミング、カメラパラメータ、生成したビデオクリップのタイミングを調整し、参照クリップとの類似性を最大化することができる。
関連論文リスト
- D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。
我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
論文 参考訳（メタデータ） (2024-06-14T14:35:44Z) - RAP: Efficient Text-Video Retrieval with Sparse-and-Correlated Adapter [77.0205013713008]
Text-Video Retrieval (TVR)は、関連するビデオコンテンツと自然言語クエリを連携させることを目的としている。
現在までに、ほとんどの最先端のTVR手法は、大規模な事前学習された視覚モデルに基づいて、画像からビデオへの変換学習を学習している。
パラメータ化層数で事前学習モデルの微調整を行うためのスパース・アンド・コラージュAdaPter (RAP) を提案する。
論文 参考訳（メタデータ） (2024-05-29T19:23:53Z) - Boosting Neural Representations for Videos with a Conditional Decoder [28.073607937396552]
Inlicit Neural representations (INRs) は、ビデオストレージと処理において有望なアプローチとして登場した。
本稿では,現在の暗黙的ビデオ表現手法のための普遍的なブースティングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-28T08:32:19Z) - Inflation with Diffusion: Efficient Temporal Adaptation for
Text-to-Video Super-Resolution [19.748048455806305]
本稿では,効率的な拡散型テキスト・ビデオ・スーパーレゾリューション(SR)チューニング手法を提案する。
本稿では,我々の拡張アーキテクチャに基づく異なるチューニング手法について検討し,計算コストと超解像品質のトレードオフを報告する。
論文 参考訳（メタデータ） (2024-01-18T22:25:16Z) - ZeroI2V: Zero-Cost Adaptation of Pre-trained Transformers from Image to Video [15.952896909797728]
ビデオ領域に画像モデルを適用することは、ビデオ認識タスクを解くための効率的なパラダイムとして現れている。
最近の研究は、パラメータ効率のよい画像から映像への適応に焦点を移している。
画像変換器をビデオ認識タスクに転送する新たな適応パラダイム(ZeroI2V)を提案する。
論文 参考訳（メタデータ） (2023-10-02T16:41:20Z) - CamP: Camera Preconditioning for Neural Radiance Fields [56.46526219931002]
NeRFは、オブジェクトと大規模シーンの高忠実度3Dシーン再構成を得るために最適化することができる。
外部および固有のカメラパラメータは通常、NeRFの前処理ステップとしてStructure-from-Motion (SfM)法を用いて推定される。
本稿では,カメラパラメータ間の相関をなくし,その効果を正規化するホワイトニング変換を代用問題として提案する。
論文 参考訳（メタデータ） (2023-08-21T17:59:54Z) - Per-Clip Video Object Segmentation [110.08925274049409]
近年、メモリベースの手法は、半教師付きビデオオブジェクトセグメンテーションにおいて有望な結果を示している。
映像オブジェクトのセグメンテーションをクリップワイドマスクワイド伝搬として扱う。
本稿では,Clip毎の推論に適した新しい手法を提案する。
論文 参考訳（メタデータ） (2022-08-03T09:02:29Z) - Recurrent Video Restoration Transformer with Guided Deformable Attention [116.1684355529431]
本稿では,グローバルなリカレントフレームワーク内で,隣接するフレームを並列に処理するRVRTを提案する。
RVRTは、バランスの取れたモデルサイズ、メモリとランタイムをテストするベンチマークデータセット上で、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-06-05T10:36:09Z) - Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。
まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。
そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:05:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。