論文の概要: Spatio-Temporal Distortion Aware Omnidirectional Video Super-Resolution
- arxiv url: http://arxiv.org/abs/2410.11506v2
- Date: Mon, 17 Mar 2025 16:22:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-18 23:13:52.098995
- Title: Spatio-Temporal Distortion Aware Omnidirectional Video Super-Resolution
- Title（参考訳）: 全方位ビデオ超解像における時空間歪みの認識
- Authors: Hongyu An, Xinfeng Zhang, Shijie Zhao, Li Zhang, Ruiqin Xiong,
- Abstract要約: 分解能を高めるためにビデオ超解像(SR)が提案されているが、実際のODV空間射影歪みと時間的フレッカリングは、既存の手法を直接的に適用するには十分ではない。
本研究では, ODV-SR の再現性を向上させるため, ODV 特性を指向した時空間歪み認識ネットワーク (STDAN) を提案する。
- 参考スコア（独自算出の注目度）: 25.615935776826596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Omnidirectional video (ODV) provides an immersive visual experience and is widely utilized in virtual reality and augmented reality. However, restricted capturing devices and transmission bandwidth lead to low-resolution ODVs. Video super-resolution (SR) is proposed to enhance resolution, but practical ODV spatial projection distortions and temporal flickering are not well addressed directly applying existing methods. To achieve better ODV-SR reconstruction, we propose a Spatio-Temporal Distortion Aware Network (STDAN) oriented to ODV characteristics. Specifically, a spatially continuous distortion modulation module is introduced to improve discrete projection distortions. Next, we design an interlaced multi-frame reconstruction mechanism to refine temporal consistency across frames. Furthermore, we incorporate latitude-saliency adaptive weights during training to concentrate on regions with higher texture complexity and human-watching interest. In general, we explore inference-free and real-world viewing matched strategies to provide an application-friendly method on a novel ODV-SR dataset with practical scenarios. Extensive experimental results demonstrate the superior performance of the proposed STDAN over state-of-the-art methods.
- Abstract（参考訳）: Omnidirectional Video (ODV)は没入型視覚体験を提供し、仮想現実や拡張現実で広く利用されている。
しかし、制限されたキャプチャデバイスと伝送帯域幅は、低解像度のODVに繋がる。
分解能を高めるためにビデオ超解像(SR)が提案されているが、実際のODV空間射影歪みと時間的フレッカリングは、既存の手法を直接的に適用するには十分ではない。
ODV-SRの再構成を改善するために,ODV特性を考慮した時空間歪み認識ネットワーク(STDAN)を提案する。
具体的には、離散的な投影歪みを改善するために、空間的に連続した歪み変調モジュールを導入する。
次に,フレーム間の時間的一貫性を向上する多フレーム間再構成機構を設計する。
さらに、トレーニング中に緯度順応重量を組み込んで、テクスチャの複雑さと人間の観察に興味のある領域に集中させる。
一般論として,実シナリオを用いた新しいODV-SRデータセットにアプリケーションフレンドリーな手法を提供するために,推論のない実世界の視聴マッチング戦略を検討する。
実験結果から,STDANの最先端手法よりも優れた性能を示した。
関連論文リスト
- Semantic and Temporal Integration in Latent Diffusion Space for High-Fidelity Video Super-Resolution [20.151571582095468]
我々はSeTe-VSR(Semantic and Temporal Guided Video Super-Resolution)を提案する。
本手法は複雑な詳細の復元と時間的コヒーレンス確保のシームレスなバランスを実現する。
提案手法は高精細な視覚コンテンツを保存するだけでなく,忠実度を著しく向上させる。
論文 参考訳（メタデータ） (2025-08-01T09:47:35Z) - UltraVSR: Achieving Ultra-Realistic Video Super-Resolution with Efficient One-Step Diffusion Space [46.43409853027655]
拡散モデルは、現実的な画像の詳細を生成する大きな可能性を示している。
これらのモデルをビデオ超解像(VSR)に適応させることは、その性質と時間的モデリングの欠如により、依然として困難である。
我々は,超現実的で時間的に整合したVSRを,効率的なワンステップ拡散空間で実現するための新しいフレームワークであるUltraVSRを提案する。
論文 参考訳（メタデータ） (2025-05-26T13:19:27Z) - DiVE: Efficient Multi-View Driving Scenes Generation Based on Video Diffusion Transformer [56.98400572837792]
DiVEは高忠実で、時間的コヒーレントで、相互に一貫したマルチビュービデオを生成する。
これらの革新は総じて、最小品質の劣化を伴う2.62倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2025-04-28T09:20:50Z) - Event-Enhanced Blurry Video Super-Resolution [52.894824081586776]
我々は,低解像度(LR)とぼやけた入力から高解像度(HR)ビデオを生成することを目的とした,ぼやけたビデオ超解像(BVSR)の課題に取り組む。
現在のBVSR法は、しばしば高解像度でシャープな詳細を復元するのに失敗し、顕著なアーティファクトとジッターを生み出した。
本稿では,BVSR にイベント信号を導入し,新しいイベント強化ネットワーク Ev-DeVSR を提案する。
論文 参考訳（メタデータ） (2025-04-17T15:55:41Z) - Temporal-Consistent Video Restoration with Pre-trained Diffusion Models [51.47188802535954]
ビデオ復元(VR)は、劣化したビデオから高品質なビデオを復元することを目的としている。
事前訓練拡散モデル(DM)を用いた最近のゼロショットVR法は,逆拡散時の近似誤差と時間的整合性の欠如に悩まされている。
本稿では,DMのシード空間におけるビデオフレームを直接パラメータ化し,近似誤差を排除した新しいMAP(Posterior Maximum)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-19T03:41:56Z) - SeedVR: Seeding Infinity in Diffusion Transformer Towards Generic Video Restoration [73.70209718408641]
SeedVRは、任意の長さと解像度で現実世界のビデオ再生を処理するために設計された拡散トランスフォーマーである。
合成ベンチマークと実世界のベンチマーク、AI生成ビデオで高い競争力を発揮する。
論文 参考訳（メタデータ） (2025-01-02T16:19:48Z) - Collaborative Feedback Discriminative Propagation for Video Super-Resolution [66.61201445650323]
ビデオ超解像法(VSR)の主な成功は、主に空間情報と時間情報を探索することに由来する。
不正確なアライメントは通常、重要なアーティファクトを備えたアライメント機能につながる。
伝搬モジュールは同じタイムステップ機能のみを前方または後方に伝播する。
論文 参考訳（メタデータ） (2024-04-06T22:08:20Z) - Learning Spatial Adaptation and Temporal Coherence in Diffusion Models for Video Super-Resolution [151.1255837803585]
ビデオ超解像のための空間適応と時間コヒーレンス(SATeCo)を追求する新しい手法を提案する。
SATeCoは低解像度ビデオから時空間ガイダンスを学習し、潜時空間高解像度ビデオデノイングとピクセル空間ビデオ再構成の両方を校正する。
REDS4データセットとVid4データセットを用いて行った実験は、我々のアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-25T17:59:26Z) - Video Dynamics Prior: An Internal Learning Approach for Robust Video
Enhancements [83.5820690348833]
外部トレーニングデータコーパスを必要としない低レベルの視覚タスクのためのフレームワークを提案する。
提案手法は,コヒーレンス・時間的テストの重み付けと統計内部統計を利用して,破損したシーケンスを最適化することでニューラルモジュールを学習する。
論文 参考訳（メタデータ） (2023-12-13T01:57:11Z) - Motion-Guided Latent Diffusion for Temporally Consistent Real-world Video Super-resolution [15.197746480157651]
本稿では,事前学習した潜伏拡散モデルの強度を利用した実世界のVSRアルゴリズムを提案する。
我々は、LRビデオの時間的ダイナミクスを利用して、動作誘導損失で潜時サンプリング経路を最適化することにより拡散過程を導出する。
動作誘導潜在拡散に基づくVSRアルゴリズムは、実世界のVSRベンチマークデータセットの最先端技術よりも、知覚品質が大幅に向上する。
論文 参考訳（メタデータ） (2023-12-01T14:40:07Z) - Benchmark Dataset and Effective Inter-Frame Alignment for Real-World
Video Super-Resolution [65.20905703823965]
ビデオ超解像(VSR)は、高解像度(HR)動画を低解像度(LR)ビデオから再構成することを目的としており、近年大きく進歩している。
既存のVSRメソッドを複雑な劣化を伴う実世界のデータにデプロイすることは依然として困難である。
EAVSRは、提案した多層適応空間変換ネットワーク(MultiAdaSTN)を用いて、事前学習した光フロー推定ネットワークが提供するオフセットを洗練する。
論文 参考訳（メタデータ） (2022-12-10T17:41:46Z) - H2-Stereo: High-Speed, High-Resolution Stereoscopic Video System [39.95458608416292]
高分解能立体視(H2-Stereo)ビデオは、動的3Dコンテンツを微妙に知覚することができる。
既存の手法は、時間的または空間的な詳細を欠いた妥協された解決策を提供する。
本稿では,高解像度低フレームレート(HSR-LFR)映像を空間的詳細で撮影するデュアルカメラシステムを提案する。
そこで我々は,H2-Stereo ビデオの効率的な再構成にクロスカメラ冗長性を利用する学習情報融合ネットワーク (LIFnet) を考案した。
論文 参考訳（メタデータ） (2022-08-04T04:06:01Z) - Learned Video Compression via Heterogeneous Deformable Compensation
Network [78.72508633457392]
不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。
より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。
実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-11T02:31:31Z) - STRPM: A Spatiotemporal Residual Predictive Model for High-Resolution
Video Prediction [78.129039340528]
本稿では,高解像度映像予測のための時間残差予測モデル(STRPM)を提案する。
STRPMは、既存の様々な方法と比較して、より満足な結果を得ることができる。
実験の結果, STRPMは既存手法と比較して良好な結果が得られた。
論文 参考訳（メタデータ） (2022-03-30T06:24:00Z) - Fast Online Video Super-Resolution with Deformable Attention Pyramid [172.16491820970646]
ビデオスーパーレゾリューション(VSR)には、ビデオストリーミングやテレビなど、厳格な因果性、リアルタイム、レイテンシの制約を課す多くのアプリケーションがある。
変形性アテンションピラミッド(DAP)に基づく繰り返しVSRアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-02-03T17:49:04Z) - Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。
本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
論文 参考訳（メタデータ） (2020-02-15T13:14:10Z) - End-To-End Trainable Video Super-Resolution Based on a New Mechanism for
Implicit Motion Estimation and Compensation [19.67999205691758]
ビデオの超解像度は、低解像度のビデオから高解像度のビデオを生成することを目指している。
本研究では,暗黙の動作推定と補償を行うための動的局所フィルタネットワークを提案する。
また,ResBlockとオートエンコーダ構造に基づくグローバルリファインメントネットワークを提案する。
論文 参考訳（メタデータ） (2020-01-05T03:47:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。