論文の概要: PanoLora: Bridging Perspective and Panoramic Video Generation with LoRA Adaptation
- arxiv url: http://arxiv.org/abs/2509.11092v1
- Date: Sun, 14 Sep 2025 05:05:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-16 17:26:22.91252
- Title: PanoLora: Bridging Perspective and Panoramic Video Generation with LoRA Adaptation
- Title(参考訳): PanoLora: LoRA適応によるブリッジングパースペクティブとパノラマビデオ生成
- Authors: Zeyu Dong, Yuyang Yin, Yuqi Li, Eric Li, Hao-Xiang Guo, Yikai Wang,
- Abstract要約: パノラマビデオは視野が限られている単一の視点に依存しており、標準のビデオ生成モデルが適応することが困難である。
既存のソリューションは、しばしば複雑なアーキテクチャや大規模なトレーニングを導入し、非効率性と準最適結果をもたらす。
本研究では,パノラマ画像生成を視点から見た適応問題として扱うことを提案する。
提案手法は,高品質なパノラマ生成を実現しつつ,約1,000本のビデオのみを用いて,事前学習したビデオ拡散モデルを効率よく微調整する。
- 参考スコア(独自算出の注目度): 17.498427118787045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating high-quality 360{\deg} panoramic videos remains a significant challenge due to the fundamental differences between panoramic and traditional perspective-view projections. While perspective videos rely on a single viewpoint with a limited field of view, panoramic content requires rendering the full surrounding environment, making it difficult for standard video generation models to adapt. Existing solutions often introduce complex architectures or large-scale training, leading to inefficiency and suboptimal results. Motivated by the success of Low-Rank Adaptation (LoRA) in style transfer tasks, we propose treating panoramic video generation as an adaptation problem from perspective views. Through theoretical analysis, we demonstrate that LoRA can effectively model the transformation between these projections when its rank exceeds the degrees of freedom in the task. Our approach efficiently fine-tunes a pretrained video diffusion model using only approximately 1,000 videos while achieving high-quality panoramic generation. Experimental results demonstrate that our method maintains proper projection geometry and surpasses previous state-of-the-art approaches in visual quality, left-right consistency, and motion diversity.
- Abstract(参考訳): 高品質な360{\deg}パノラマビデオの生成は、パノラマと従来の視点投影の根本的な違いのため、依然として大きな課題である。
視点ビデオは視野が限られている単一の視点に依存しているが、パノラマコンテンツは周囲の環境全体をレンダリングする必要があるため、標準的なビデオ生成モデルでは適応が困難である。
既存のソリューションは、しばしば複雑なアーキテクチャや大規模なトレーニングを導入し、非効率性と準最適結果をもたらす。
スタイル伝達タスクにおけるローランド適応(LoRA)の成功に触発されて, パノラマ映像生成を視点からの適応問題として扱うことを提案する。
理論的解析により、LORAは、そのランクがタスクの自由度を超えるとき、これらの射影間の変換を効果的にモデル化できることを実証する。
提案手法は,高品質なパノラマ生成を実現しつつ,約1,000本のビデオのみを用いて,事前学習したビデオ拡散モデルを効率よく微調整する。
実験により,提案手法はプロジェクション形状を適切に維持し,視覚的品質,左右の整合性,動きの多様性において,従来の最先端アプローチを超越していることが示された。
関連論文リスト
- One Flight Over the Gap: A Survey from Perspective to Panoramic Vision [117.80970697177025]
本研究は,最近のパノラマ視覚技術,特にパノラマ・パノラマ・パノラマ適応についてレビューする。
最初にパノラマ画像パイプラインと投影法を再検討し、構造的格差を分析するのに必要な事前知識を構築した。
これに基づいて、300以上の研究論文から得られた20以上の代表的タスクを2次元でカバーする。
論文 参考訳(メタデータ) (2025-09-04T17:59:10Z) - ViewPoint: Panoramic Video Generation with Pretrained Diffusion Models [52.87334248847314]
本研究では,パノラマ映像の生成に事前学習した視点映像モデルを用いた新しいフレームワークを提案する。
具体的には,世界空間の連続性と細かな視覚的詳細を同時に持つビューポイントマップという新しいパノラマ表現を設計する。
提案手法は,パノラマ映像を高度にダイナミックかつ空間的に一貫したパノラマ映像を合成し,最先端の性能を達成し,従来の手法を超越することができる。
論文 参考訳(メタデータ) (2025-06-30T04:33:34Z) - Frame Guidance: Training-Free Guidance for Frame-Level Control in Video Diffusion Models [59.62564091684881]
フレームレベル信号に基づく制御可能なビデオ生成のためのトレーニング不要ガイダンスであるFrame Guidanceを提案する。
そこで本研究では,メモリ使用量を大幅に削減する簡易な潜時処理手法を提案する。
我々は,グローバルコヒーレントビデオ生成のために設計された新しい潜在最適化手法を適用した。
論文 参考訳(メタデータ) (2025-06-08T14:54:41Z) - PanoWan: Lifting Diffusion Video Generation Models to 360° with Latitude/Longitude-aware Mechanisms [41.92179513409301]
既存のパノラマビデオ生成モデルは、高品質なパノラマビデオのための従来のテキスト・ツー・ビデオ・モデルから事前訓練された生成先を活用するのに苦労している。
本稿では,パノラマ領域に最小限のモジュールを備えた事前学習されたテキスト・ビデオ・モデルを効果的に持ち上げるパノラマモデルを提案する。
これらの揚力表現を学習するためのパノラマビデオを提供するため、キャプションと多様なシナリオを備えた高品質なパノラマビデオデータセットであるPanoVidをコントリビュートする。
論文 参考訳(メタデータ) (2025-05-28T06:24:21Z) - Beyond the Frame: Generating 360° Panoramic Videos from Perspective Videos [64.10180665546237]
360degのビデオは、私たちの周囲のより完全な視点を提供する。
既存のビデオモデルは、標準的なビデオを作るのに優れているが、完全なパノラマビデオを生成する能力は、まだ明らかになっていない。
高品質なデータフィルタリングパイプラインを開発し、双方向のトレーニングデータをキュレートし、360度ビデオ生成の品質を向上させる。
実験結果から,本モデルでは実写的でコヒーレントな360デグ映像を撮影できることが示された。
論文 参考訳(メタデータ) (2025-04-10T17:51:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。