論文の概要: Imagine360: Immersive 360 Video Generation from Perspective Anchor
- arxiv url: http://arxiv.org/abs/2412.03552v1
- Date: Wed, 04 Dec 2024 18:50:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-05 15:07:51.711083
- Title: Imagine360: Immersive 360 Video Generation from Perspective Anchor
- Title(参考訳): 視点アンカーから360度動画を生成するImagine360
- Authors: Jing Tan, Shuai Yang, Tong Wu, Jingwen He, Yuwei Guo, Ziwei Liu, Dahua Lin,
- Abstract要約: Imagine360は、360円から360ドル程度のビデオ生成フレームワークだ。
360ドル(約3万3000円)の限られたビデオデータから、細粒の球面と動きのパターンを学習する。
最先端の360ドル(約3万3000円)の動画生成方法では、グラフィック品質とモーションコヒーレンスに優れています。
- 参考スコア(独自算出の注目度): 79.97844408255897
- License:
- Abstract: $360^\circ$ videos offer a hyper-immersive experience that allows the viewers to explore a dynamic scene from full 360 degrees. To achieve more user-friendly and personalized content creation in $360^\circ$ video format, we seek to lift standard perspective videos into $360^\circ$ equirectangular videos. To this end, we introduce Imagine360, the first perspective-to-$360^\circ$ video generation framework that creates high-quality $360^\circ$ videos with rich and diverse motion patterns from video anchors. Imagine360 learns fine-grained spherical visual and motion patterns from limited $360^\circ$ video data with several key designs. 1) Firstly we adopt the dual-branch design, including a perspective and a panorama video denoising branch to provide local and global constraints for $360^\circ$ video generation, with motion module and spatial LoRA layers fine-tuned on extended web $360^\circ$ videos. 2) Additionally, an antipodal mask is devised to capture long-range motion dependencies, enhancing the reversed camera motion between antipodal pixels across hemispheres. 3) To handle diverse perspective video inputs, we propose elevation-aware designs that adapt to varying video masking due to changing elevations across frames. Extensive experiments show Imagine360 achieves superior graphics quality and motion coherence among state-of-the-art $360^\circ$ video generation methods. We believe Imagine360 holds promise for advancing personalized, immersive $360^\circ$ video creation.
- Abstract(参考訳): 360^\circ$ビデオは、360度からダイナミックなシーンを閲覧できるハイパー没入感のある体験を提供する。
ユーザーフレンドリーでパーソナライズされたコンテンツを360^\circ$ビデオフォーマットで作成するために、標準的な視点動画を360^\circ$等方形ビデオにしたいと考えている。
この目的のために、Imagine360は360^\circ$ビデオ生成フレームワークで、高品質な360^\circ$ビデオを作成する。
imagine360は、360^\circ$の限られたビデオデータから、細粒の球面と動きのパターンを学習する。
1) 遠近法とパノラマビデオデノベーション・ブランチを併用して,360^\circ$ビデオ生成の局所的およびグローバル的制約を360^\circ$ビデオ生成に適用し,ウェブ拡張360^\circ$ビデオ上での移動モジュールと空間ロラ層を微調整した。
2) 対足性マスクは, 遠距離運動依存性を捉え, 対足性画素間の逆カメラの動きを高めるために考案された。
3) 多様な視点の映像入力を扱うために,フレーム間の高度変化による様々な映像マスキングに適応する高度対応設計を提案する。
大規模な実験により、Imagine360は最先端の360^\circ$ビデオ生成方法において、優れたグラフィックス品質とモーションコヒーレンスを実現している。
われわれはImagine360が、パーソナライズされた没入型360^\circ$ビデオ制作を進めることを約束していると考えている。
関連論文リスト
- MVSplat360: Feed-Forward 360 Scene Synthesis from Sparse Views [90.26609689682876]
MVSplat360は多様な現実世界シーンの360degノベルビュー合成(NVS)のためのフィードフォワードアプローチであり、スパース観測のみを用いて紹介する。
この設定は、入力ビュー間の重複が最小限であり、提供された視覚情報が不十分であるために本質的に不適切である。
私たちのモデルは、エンドツーエンドのトレーニングが可能で、5つのスパースなインプットビューで任意のビューのレンダリングをサポートしています。
論文 参考訳(メタデータ) (2024-11-07T17:59:31Z) - DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
テキストから3D 360$circ$のシーン生成パイプラインを提示する。
提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。
当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
論文 参考訳(メタデータ) (2024-04-10T10:46:59Z) - Dream360: Diverse and Immersive Outdoor Virtual Scene Creation via
Transformer-Based 360 Image Outpainting [33.95741744421632]
本研究では,Dream360と呼ばれる変換器を用いた360度画像出力フレームワークを提案する。
ユーザが選択したビューポートから多種多様で高忠実で高解像度のパノラマを生成することができる。
私たちのDream360は、既存の方法よりもFrechet Inception Distance(FID)スコアが大幅に低く、視覚的忠実度が向上します。
論文 参考訳(メタデータ) (2024-01-19T09:01:20Z) - 360DVD: Controllable Panorama Video Generation with 360-Degree Video Diffusion Model [23.708946172342067]
本研究では,360度パノラマビデオを生成するために360DVDと呼ばれるパイプラインを提案する。
我々は,パノラマビデオ生成のためのトレーニング済みのT2Vモデルを変換するために,360 Enhancement Techniquesを併用した軽量な360-Adapterを提案する。
また,360DVDをトレーニングするためのパノラマビデオテキストペアからなる WEB360 という新しいパノラマデータセットを提案する。
論文 参考訳(メタデータ) (2024-01-12T13:52:29Z) - See360: Novel Panoramic View Interpolation [24.965259708297932]
See360は、潜在空間視点推定を用いた360パノラマビューのための汎用的で効率的なフレームワークである。
提案手法は,4つのデータセットに対する任意のビューのリアルタイムレンダリングを実現するのに十分な汎用性を有することを示す。
論文 参考訳(メタデータ) (2024-01-07T09:17:32Z) - NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes [59.15910989235392]
屋外シーンのスパースビュー合成のためのNeO 360, Neural Fieldを紹介する。
NeO 360は、単一のまたは少数のRGB画像から360degのシーンを再構成する一般化可能な方法である。
我々の表現は、Voxel-basedとBird's-eye-view (BEV)の両方の表現の長所を組み合わせたものである。
論文 参考訳(メタデータ) (2023-08-24T17:59:50Z) - RenderMe-360: A Large Digital Asset Library and Benchmarks Towards
High-fidelity Head Avatars [157.82758221794452]
RenderMe-360は、頭部アバター研究の進歩を促進するための総合的な4次元人間の頭部データセットである。
そこには大量のデータ資産があり、合計で243万あまりのヘッドフレームと、500の異なるアイデンティティから8万件のビデオシーケンスがある。
データセットに基づいて、頭部アバター研究のための総合的なベンチマークを構築し、5つの主要なタスクで16の最先端の手法を実行した。
論文 参考訳(メタデータ) (2023-05-22T17:54:01Z) - SHD360: A Benchmark Dataset for Salient Human Detection in 360{\deg}
Videos [26.263614207849276]
実写シーンを収集する360度ビデオSHDデータセットSHD360を提案する。
SHD360には16,238の有能な人間の実例があり、手動で注釈付けされたピクセル単位の地上真実がある。
提案したデータセットとベンチマークは,360度パノラマデータに向けた人間中心の研究の出発点となる可能性がある。
論文 参考訳(メタデータ) (2021-05-24T23:51:29Z) - Perceptual Quality Assessment of Omnidirectional Images as Moving Camera
Videos [49.217528156417906]
ユーザの視聴行動やパノラマの知覚的品質を決定するには,2種類のVR視聴条件が不可欠である。
まず、異なる視聴条件下での異なるユーザの視聴行動を用いて、一方向の画像を複数のビデオ表現に変換する。
次に、高度な2次元フルレファレンスビデオ品質モデルを活用して、知覚された品質を計算する。
論文 参考訳(メタデータ) (2020-05-21T10:03:40Z) - Weakly-Supervised Multi-Person Action Recognition in 360$^{\circ}$
Videos [24.4517195084202]
トップビュー360$circ$ビデオにおけるアクション認識の問題に対処する。
提案フレームワークは、まず一方向ビデオからパノラマビデオに変換し、その後、地域ベースの3D CNNを用いて時空間の特徴を抽出して行動認識を行う。
本稿では,ビデオレベルのアクションラベルのみを教師として使用して,映像中の複数のアクションを認識・ローカライズするようにモデルを訓練する,マルチインスタンス・マルチラベル学習に基づく弱教師付き手法を提案する。
論文 参考訳(メタデータ) (2020-02-09T02:17:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。