論文の概要: Anything in Any Scene: Photorealistic Video Object Insertion
- arxiv url: http://arxiv.org/abs/2401.17509v1
- Date: Tue, 30 Jan 2024 23:54:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 16:04:02.330822
- Title: Anything in Any Scene: Photorealistic Video Object Insertion
- Title(参考訳): どんな場面でも:フォトリアリスティックなビデオオブジェクト挿入
- Authors: Chen Bai, Zeman Shao, Guoxiang Zhang, Di Liang, Jie Yang, Zhuorui
Zhang, Yujian Guo, Chengzhang Zhong, Yiqiao Qiu, Zhendong Wang, Yichen Guan,
Xiaoyin Zheng, Tao Wang, Cheng Lu
- Abstract要約: リアルな映像シミュレーションのための新しいフレームワークであるAnything in Any Sceneを提案する。
あらゆるオブジェクトを既存のダイナミックビデオにシームレスに挿入し、物理的なリアリズムに強く重点を置いている。
実験により、Anything in Any Sceneは、優れた幾何学的リアリズム、照明リアリズム、フォトリアリズムのシミュレーションビデオを生成する。
- 参考スコア(独自算出の注目度): 17.65822120887241
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Realistic video simulation has shown significant potential across diverse
applications, from virtual reality to film production. This is particularly
true for scenarios where capturing videos in real-world settings is either
impractical or expensive. Existing approaches in video simulation often fail to
accurately model the lighting environment, represent the object geometry, or
achieve high levels of photorealism. In this paper, we propose Anything in Any
Scene, a novel and generic framework for realistic video simulation that
seamlessly inserts any object into an existing dynamic video with a strong
emphasis on physical realism. Our proposed general framework encompasses three
key processes: 1) integrating a realistic object into a given scene video with
proper placement to ensure geometric realism; 2) estimating the sky and
environmental lighting distribution and simulating realistic shadows to enhance
the light realism; 3) employing a style transfer network that refines the final
video output to maximize photorealism. We experimentally demonstrate that
Anything in Any Scene framework produces simulated videos of great geometric
realism, lighting realism, and photorealism. By significantly mitigating the
challenges associated with video data generation, our framework offers an
efficient and cost-effective solution for acquiring high-quality videos.
Furthermore, its applications extend well beyond video data augmentation,
showing promising potential in virtual reality, video editing, and various
other video-centric applications. Please check our project website
https://anythinginanyscene.github.io for access to our project code and more
high-resolution video results.
- Abstract(参考訳): リアルなビデオシミュレーションは、仮想現実から映画制作まで、さまざまな応用にまたがる大きな可能性を示している。
これは、実際の設定でビデオをキャプチャするシナリオが非現実的か高価である場合に特に当てはまる。
映像シミュレーションにおける既存のアプローチは、しばしば照明環境を正確にモデル化したり、物体の形状を表現したり、高レベルのフォトリアリズムを達成することができない。
本稿では,既存の動的ビデオに任意のオブジェクトをシームレスに挿入し,物理的リアリズムを強く重視する,リアルな映像シミュレーションのための新奇で汎用的なフレームワークであるAnything in Any Sceneを提案する。
提案する汎用フレームワークは、3つの重要なプロセスを包含する。
1) リアルな物体を所定のシーンビデオに統合して,幾何学的リアリズムを確保する。
2) 空と環境の照明分布を推定し, 写実的な影をシミュレートして光のリアリズムを高めること。
3) 最終的な映像出力を洗練してフォトリアリズムを最大化するスタイル転送ネットワークを用いる。
実験により、Anything in Any Sceneフレームワークは、優れた幾何学的リアリズム、照明リアリズム、フォトリアリズムのシミュレーションビデオを生成する。
ビデオデータ生成に関する課題を著しく軽減することにより,高品質なビデオを取得するための効率的かつコスト効率の高いソリューションを提供する。
さらに、そのアプリケーションはビデオデータ拡張を超えて、仮想現実、ビデオ編集、その他様々なビデオ中心のアプリケーションにおいて有望な可能性を示している。
プロジェクトコードへのアクセスとより高解像度のビデオ結果について、プロジェクトのWebサイトhttps://anythinginanyscene.github.ioを参照してください。
関連論文リスト
- Place Anything into Any Video [42.44527154904871]
本稿では,Place-Anythingという新しい,効率的なシステムを紹介する。
対象のオブジェクトや要素の画像やテキスト記述のみに基づいて、任意のオブジェクトを任意のビデオに挿入することを容易にする。
このシステムは3つのモジュールで構成されている。3D生成、ビデオ再構成、および3Dターゲット挿入である。
論文 参考訳(メタデータ) (2024-02-22T06:19:22Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - Copy Motion From One to Another: Fake Motion Video Generation [53.676020148034034]
人工知能の魅力的な応用は、任意の所望の動作を行う対象者のビデオを生成することである。
現在の手法では、通常、生成されたビデオの信頼性を評価するために、L2損失のGANを用いる。
本稿では,ポーズから前景画像へのマッピングの学習を容易にする理論的動機付け型Gromov-Wasserstein損失を提案する。
本手法は,人物の複雑な動きを忠実にコピーすることで,現実的な人物映像を生成できる。
論文 参考訳(メタデータ) (2022-05-03T08:45:22Z) - Learning Object-Compositional Neural Radiance Field for Editable Scene
Rendering [42.37007176376849]
本稿では,物体合成型ニューラルラジアンス場を学習し,クラスタ化された実世界のシーンをリアルにレンダリングするニューラルシーンレンダリングシステムを提案する。
密集したシーンでのトレーニングを生き残るために, 密集した領域における3次元空間のあいまいさを解消し, それぞれの物体の鋭い境界を学習するためのシーン誘導型トレーニング戦略を提案する。
論文 参考訳(メタデータ) (2021-09-04T11:37:18Z) - Relightable Neural Video Portrait [36.67623086400362]
Photo-realistic Face Video portrait Reenactmentは、バーチャルプロダクションと多くのVR/AR体験の恩恵を受ける。
任意の背景と照明条件を持つターゲット俳優のポートレートビデオに,頭部ポーズと表情をソースアクターから転送する,リライタブルなニューラルビデオポートレート,同時リライティングと再現方式を提案する。
論文 参考訳(メタデータ) (2021-07-30T16:20:45Z) - A Good Image Generator Is What You Need for High-Resolution Video
Synthesis [73.82857768949651]
現代画像生成装置を用いて高解像度映像のレンダリングを行うフレームワークを提案する。
我々は,映像合成問題を,予め訓練された固定された画像生成装置の潜時空間における軌跡の発見とみなす。
本稿では,コンテンツや動きが絡み合っている所望の軌跡を検出するモーションジェネレータを提案する。
論文 参考訳(メタデータ) (2021-04-30T15:38:41Z) - GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。
まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。
得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
論文 参考訳(メタデータ) (2021-01-16T23:00:33Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳(メタデータ) (2020-12-22T18:46:12Z) - OpenRooms: An End-to-End Open Framework for Photorealistic Indoor Scene
Datasets [103.54691385842314]
本研究では,屋内シーンの大規模フォトリアリスティックデータセットを作成するための新しいフレームワークを提案する。
私たちの目標は、データセット作成プロセスを広く利用できるようにすることです。
これにより、逆レンダリング、シーン理解、ロボット工学における重要な応用が可能になる。
論文 参考訳(メタデータ) (2020-07-25T06:48:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。