論文の概要: Spatio-Temporal Distortion Aware Omnidirectional Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2410.11506v1
• Date: Tue, 15 Oct 2024 11:17:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:14.062649
• Title: Spatio-Temporal Distortion Aware Omnidirectional Video Super-Resolution
• Title（参考訳）: 全方位ビデオ超解像における時空間歪みの認識
• Authors: Hongyu An, Xinfeng Zhang, Li Zhang, Ruiqin Xiong,
• Abstract要約: ビデオの解像度を高めるためにビデオ超解像法 (VSR) が提案されているが, ODVの投影歪みは直接的にこのような手法を適用できない。 超高解像度再構成品質を実現するために,新しい時空間歪み認識ネットワーク(STDAN)を提案する。
• 参考スコア（独自算出の注目度）: 26.166579083377556
• License:
• Abstract: Omnidirectional video (ODV) can provide an immersive experience and is widely utilized in the field of virtual reality and augmented reality. However, the restricted capturing devices and transmission bandwidth lead to the low resolution of ODVs. Video super-resolution (VSR) methods are proposed to enhance the resolution of videos, but ODV projection distortions in the application are not well addressed directly applying such methods. To achieve better super-resolution reconstruction quality, we propose a novel Spatio-Temporal Distortion Aware Network (STDAN) oriented to ODV characteristics. Specifically, a spatio-temporal distortion modulation module is introduced to improve spatial ODV projection distortions and exploit the temporal correlation according to intra and inter alignments. Next, we design a multi-frame reconstruction and fusion mechanism to refine the consistency of reconstructed ODV frames. Furthermore, we incorporate latitude-saliency adaptive maps in the loss function to concentrate on important viewpoint regions with higher texture complexity and human-watching interest. In addition, we collect a new ODV-SR dataset with various scenarios. Extensive experimental results demonstrate that the proposed STDAN achieves superior super-resolution performance on ODVs and outperforms state-of-the-art methods.
• Abstract（参考訳）: Omnidirectional Video(ODV)は没入感のある体験を提供し、仮想現実や拡張現実の分野で広く利用されている。 しかし、制限された捕捉装置と伝送帯域幅は、ODVの低解像度化につながる。 ビデオの解像度を高めるためにビデオ超解像法 (VSR) が提案されているが, アプリケーション内のODV投影歪みは, 直接的にこのような手法を適用できない。 超高分解能な再構成品質を実現するために,ODV特性を指向した新しい時空間歪み認識ネットワーク(STDAN)を提案する。 具体的には、空間ODV投影歪みを改善するために時空間歪み変調モジュールを導入し、その時間相関を内部および相互アライメントに応じて活用する。 次に、再構成されたODVフレームの整合性を改善するために、多フレーム再構成および融合機構を設計する。 さらに、損失関数に緯度順応性マップを組み込んで、テクスチャの複雑さと人間の注目度の高い重要な視点領域に集中する。 さらに,様々なシナリオで新しいODV-SRデータセットを収集する。 実験結果から,STDANはODVの超解像性能に優れ,最先端の手法よりも優れることが示された。

関連論文リスト

• Collaborative Feedback Discriminative Propagation for Video Super-Resolution [66.61201445650323]
  ビデオ超解像法(VSR)の主な成功は、主に空間情報と時間情報を探索することに由来する。 不正確なアライメントは通常、重要なアーティファクトを備えたアライメント機能につながる。 伝搬モジュールは同じタイムステップ機能のみを前方または後方に伝播する。
  論文  参考訳（メタデータ） (2024-04-06T22:08:20Z)
• Learning Spatial Adaptation and Temporal Coherence in Diffusion Models for Video Super-Resolution [151.1255837803585]
  ビデオ超解像のための空間適応と時間コヒーレンス(SATeCo)を追求する新しい手法を提案する。 SATeCoは低解像度ビデオから時空間ガイダンスを学習し、潜時空間高解像度ビデオデノイングとピクセル空間ビデオ再構成の両方を校正する。 REDS4データセットとVid4データセットを用いて行った実験は、我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-25T17:59:26Z)
• Motion-Guided Latent Diffusion for Temporally Consistent Real-world Video Super-resolution [15.197746480157651]
  本稿では,事前学習した潜伏拡散モデルの強度を利用した実世界のVSRアルゴリズムを提案する。 我々は、LRビデオの時間的ダイナミクスを利用して、動作誘導損失で潜時サンプリング経路を最適化することにより拡散過程を導出する。 動作誘導潜在拡散に基づくVSRアルゴリズムは、実世界のVSRベンチマークデータセットの最先端技術よりも、知覚品質が大幅に向上する。
  論文  参考訳（メタデータ） (2023-12-01T14:40:07Z)
• Learned Video Compression via Heterogeneous Deformable Compensation Network [78.72508633457392]
  不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。 より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。 実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-11T02:31:31Z)
• STRPM: A Spatiotemporal Residual Predictive Model for High-Resolution Video Prediction [78.129039340528]
  本稿では,高解像度映像予測のための時間残差予測モデル(STRPM)を提案する。 STRPMは、既存の様々な方法と比較して、より満足な結果を得ることができる。 実験の結果, STRPMは既存手法と比較して良好な結果が得られた。
  論文  参考訳（メタデータ） (2022-03-30T06:24:00Z)
• Fast Online Video Super-Resolution with Deformable Attention Pyramid [172.16491820970646]
  ビデオスーパーレゾリューション(VSR)には、ビデオストリーミングやテレビなど、厳格な因果性、リアルタイム、レイテンシの制約を課す多くのアプリケーションがある。 変形性アテンションピラミッド(DAP)に基づく繰り返しVSRアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-02-03T17:49:04Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)
• End-To-End Trainable Video Super-Resolution Based on a New Mechanism for Implicit Motion Estimation and Compensation [19.67999205691758]
  ビデオの超解像度は、低解像度のビデオから高解像度のビデオを生成することを目指している。 本研究では,暗黙の動作推定と補償を行うための動的局所フィルタネットワークを提案する。 また,ResBlockとオートエンコーダ構造に基づくグローバルリファインメントネットワークを提案する。
  論文  参考訳（メタデータ） (2020-01-05T03:47:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。