論文の概要: A Single Frame and Multi-Frame Joint Network for 360-degree Panorama Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2008.10320v1
• Date: Mon, 24 Aug 2020 11:09:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 08:58:29.356670
• Title: A Single Frame and Multi-Frame Joint Network for 360-degree Panorama Video Super-Resolution
• Title（参考訳）: 360度パノラマビデオ超解像のための単フレーム・多フレームジョイントネットワーク
• Authors: Hongying Liu, Zhubo Ruan, Chaowei Fang, Peng Zhao, Fanhua Shang, Yuanyuan Liu, Lijun Wang
• Abstract要約: ang360(パノラマ)ビデオとも呼ばれる球状ビデオは、コンピュータやヘッドマウントディスプレイなどの様々な仮想現実デバイスで見ることができる。 低解像度入力から高解像度球面映像を復元するための新しい単一フレーム・多フレームジョイントネットワーク(SMFN)を提案する。
• 参考スコア（独自算出の注目度）: 34.35942412092329
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spherical videos, also known as \ang{360} (panorama) videos, can be viewed with various virtual reality devices such as computers and head-mounted displays. They attract large amount of interest since awesome immersion can be experienced when watching spherical videos. However, capturing, storing and transmitting high-resolution spherical videos are extremely expensive. In this paper, we propose a novel single frame and multi-frame joint network (SMFN) for recovering high-resolution spherical videos from low-resolution inputs. To take advantage of pixel-level inter-frame consistency, deformable convolutions are used to eliminate the motion difference between feature maps of the target frame and its neighboring frames. A mixed attention mechanism is devised to enhance the feature representation capability. The dual learning strategy is exerted to constrain the space of solution so that a better solution can be found. A novel loss function based on the weighted mean square error is proposed to emphasize on the super-resolution of the equatorial regions. This is the first attempt to settle the super-resolution of spherical videos, and we collect a novel dataset from the Internet, MiG Panorama Video, which includes 204 videos. Experimental results on 4 representative video clips demonstrate the efficacy of the proposed method. The dataset and code are available at https://github.com/lovepiano/SMFN_For_360VSR.
• Abstract（参考訳）: 球形ビデオは \ang{360} (panorama) ビデオとしても知られ、コンピュータやヘッドマウントディスプレイなどの様々な仮想現実デバイスで見ることができる。 球面ビデオを見るときに素晴らしい没入感が体験できるので、大きな関心を集めている。 しかし、高解像度の球面ビデオの撮影、保存、送信は非常に高価である。 本稿では,低解像度入力から高分解能球面映像を回収する新しい単一フレーム多フレームジョイントネットワーク(smfn)を提案する。 画素レベルのフレーム間の一貫性を活用するために、変形可能な畳み込みを用いて、対象フレームの特徴マップとその隣接するフレームの運動差を除去する。 特徴表現能力を高めるために混合注意機構が考案される。 デュアルラーニング戦略は、より良いソリューションを見つけるために、ソリューションの空間を制限するために実施されます。 赤道域の超解像を強調するために,重み付き平均二乗誤差に基づく新しい損失関数を提案した。 これは球面ビデオの超解像を解消する最初の試みであり、インターネットから204本のビデオを含む新しいデータセットであるmig panorama videoを収集した。 提案手法の有効性を示すビデオクリップ4本について実験を行った。 データセットとコードはhttps://github.com/lovepiano/smfn_for_360vsrで入手できる。

関連論文リスト

• Self-Adaptive Sampling for Efficient Video Question-Answering on Image--Text Models [41.12711820047315]
  ビデオ理解モデルは通常、フレームやクリップの集合をランダムにサンプリングする。 本稿では,最多領域フレーム (MDF) と最多命令フレーム (MIF) の2つのフレームサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T14:54:30Z)
• MagicVideo: Efficient Video Generation With Latent Diffusion Models [76.95903791630624]
  我々はMagicVideoと呼ばれる遅延拡散モデルに基づく効率的なテキスト・ビデオ生成フレームワークを提案する。 低次元空間における映像の配布をモデル化する新しい3次元U-Netの設計により、MagicVideoは1枚のGPUカード上で256×256の空間解像度でビデオクリップを合成できる。 我々は広範な実験を行い、MagicVideoが現実的または虚構的なコンテンツで高品質なビデオクリップを作成できることを実証した。
  論文  参考訳（メタデータ） (2022-11-20T16:40:31Z)
• VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution [75.79379734567604]
  ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。 本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-06-09T17:45:49Z)
• Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
  ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。 既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。 ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:39Z)
• Memory-Augmented Non-Local Attention for Video Super-Resolution [61.55700315062226]
  低解像度(LR)ビデオから高忠実度高解像度(HR)ビデオを生成するための新しいビデオ超解法を提案する。 従来の方法は、主に時間的隣のフレームを利用して、現在のフレームの超解像を支援する。 対照的に、フレームアライメントなしでビデオの超解像を可能にするクロスフレーム非局所アテンション機構を考案する。
  論文  参考訳（メタデータ） (2021-08-25T05:12:14Z)
• One Ring to Rule Them All: a simple solution to multi-view 3D-Reconstruction of shapes with unknown BRDF via a small Recurrent ResNet [96.11203962525443]
  本論文では, 表面材料が不明な物体に対して, マルチビュー3D-Reviewの解法を提案する。 オブジェクトは任意に(例えば)持つことができる。 非ランベルティアン)、空間的に変動する(またはどこでも異なる)表面反射率(svBRDF) 提案手法は, 新たな視点合成, リライト, 材料リライト, 形状交換を伴わずに行う。
  論文  参考訳（メタデータ） (2021-04-11T13:39:31Z)
• Video Deblurring by Fitting to Test Data [39.41334067434719]
  自律走行車やロボットが撮影した動画では、動きがぼやけている。 テストビデオにディープネットワークを組み込むことで,ビデオデブレーションに対する新たなアプローチを提案する。 ビデオからシャープなフレームを選択し、これらのシャープなフレームに畳み込みニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2020-12-09T18:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。