論文の概要: RefVSR++: Exploiting Reference Inputs for Reference-based Video Super-resolution

• arxiv url: http://arxiv.org/abs/2307.02897v1
• Date: Thu, 6 Jul 2023 10:09:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 14:25:44.612483
• Title: RefVSR++: Exploiting Reference Inputs for Reference-based Video Super-resolution
• Title（参考訳）: RefVSR++: 参照ベースのビデオ超解像のための参照入力の爆発
• Authors: Han Zou, Masanori Suganuma, Takayuki Okatani
• Abstract要約: 本稿では,2つの特徴を時間方向に並列に集約するRefVSR++を提案する。 実験により、RefVSR++はPSNRにおいて1dB以上でRefVSRを上回る性能を示し、新しい最先端を実現する。
• 参考スコア（独自算出の注目度）: 29.52731707976695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Smartphones equipped with a multi-camera system comprising multiple cameras with different field-of-view (FoVs) are becoming more prevalent. These camera configurations are compatible with reference-based SR and video SR, which can be executed simultaneously while recording video on the device. Thus, combining these two SR methods can improve image quality. Recently, Lee et al. have presented such a method, RefVSR. In this paper, we consider how to optimally utilize the observations obtained, including input low-resolution (LR) video and reference (Ref) video. RefVSR extends conventional video SR quite simply, aggregating the LR and Ref inputs over time in a single bidirectional stream. However, considering the content difference between LR and Ref images due to their FoVs, we can derive the maximum information from the two image sequences by aggregating them independently in the temporal direction. Then, we propose an improved method, RefVSR++, which can aggregate two features in parallel in the temporal direction, one for aggregating the fused LR and Ref inputs and the other for Ref inputs over time. Furthermore, we equip RefVSR++ with enhanced mechanisms to align image features over time, which is the key to the success of video SR. We experimentally show that RefVSR++ outperforms RefVSR by over 1dB in PSNR, achieving the new state-of-the-art.
• Abstract（参考訳）: 異なる視野(fov)を持つ複数のカメラからなるマルチカメラシステムを備えたスマートフォンが普及している。 これらのカメラ構成は、参照ベースのSRとビデオSRと互換性があり、デバイス上でビデオを録画しながら同時に実行できる。 これにより、これら2つのsr法を組み合わせることで画質が向上する。 近年、LeeらはRefVSRという方法を提示している。 本稿では,低解像度 (LR) ビデオやレファレンス (Ref) ビデオなどの観測結果を最適に活用する方法を検討する。 RefVSRは従来のビデオSRを非常に簡単に拡張し、LRとRefの入力を1つの双方向ストリームで時間とともに集約する。 しかし,FoVによるLR画像とRef画像のコンテンツ差を考慮すると,時間方向に独立して集約することで,二つの画像列から最大情報を導き出すことができる。 そこで,本研究では,融合lr入力とref入力を集約する手法と,時間とともにref入力を集約する手法であるrefvsr++を提案する。 さらに,ビデオSRの成功の鍵となる画像特徴を時間とともに整列させる機構をRefVSR++に装備する。 実験により、RefVSR++はPSNRにおいて1dB以上でRefVSRを上回る性能を示し、新しい最先端を実現する。

関連論文リスト

• Self-Supervised Learning for Real-World Super-Resolution from Dual and Multiple Zoomed Observations [61.448005005426666]
  スマートフォン用レファレンスベーススーパーレゾリューション(RefSR)における2つの課題について考察する。 本稿では,デュアルカメラとマルチカメラのズームで観測した実世界のRefSRに対して,新たな自己教師型学習手法を提案する。
  論文  参考訳（メタデータ） (2024-05-03T15:20:30Z)
• KeDuSR: Real-World Dual-Lens Super-Resolution via Kernel-Free Matching [16.716593426301312]
  デュアルレンズ超解像(英: Dual-lens Super- resolution, SR)は、低解像度広角画像(LR入力)の超解像を支援するために望遠画像(Ref)を利用する、参照(Ref)ベースのSRの実践シナリオである。 本稿では、LRコーナ(クエリ)とLR中心(キー)領域のマッチングによるカーネルフリーマッチング戦略を提案し、対応するRef(値)をターゲットのコーナー領域にワープする。 我々のカーネルフリーマッチング戦略は、LRとRefの解像度ギャップを回避し、ネットワークの一般化能力を向上する。
  論文  参考訳（メタデータ） (2023-12-28T14:51:45Z)
• RRSR:Reciprocal Reference-based Image Super-Resolution with Progressive Feature Alignment and Selection [66.08293086254851]
  本稿では,RefSRネットワークの学習を強化するための相互学習フレームワークを提案する。 新たに提案したモジュールは,マルチスケールの特徴空間に参照入力画像をアライメントし,参照認識機能の選択を行う。 我々は,最近のRefSRモデルが相互学習パラダイムによって一貫した改善が可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2022-11-08T12:39:35Z)
• RZSR: Reference-based Zero-Shot Super-Resolution with Depth Guided Self-Exemplars [20.771851470271777]
  低分解能(LR)画像から高分解能(HR)画像を生成する上で,SISRは優れた性能を示した。 参照ベースゼロショットSR(RZSR)と呼ばれる統合解を提案する。
  論文  参考訳（メタデータ） (2022-08-24T05:48:17Z)
• Reference-based Image Super-Resolution with Deformable Attention Transformer [62.71769634254654]
  RefSRは、補助参照(Ref)画像を超解像低解像度(LR)画像に活用することを目的としている。 本稿では,複数のスケールを持つ変形可能なアテンション変換器,すなわちDATSRを提案する。 DATSRがベンチマークデータセット上で最先端のパフォーマンスを達成することを示す実験を行った。
  論文  参考訳（メタデータ） (2022-07-25T07:07:00Z)
• Reference-based Video Super-Resolution Using Multi-Camera Video Triplets [21.802693154853085]
  本稿では,レファレンス・ビデオ・スーパーレゾリューション(RefVSR)手法を提案する。 広角・望遠映像を利用した低解像度超広角ビデオの超高解像度化を目指す。
  論文  参考訳（メタデータ） (2022-03-28T07:27:36Z)
• MASA-SR: Matching Acceleration and Spatial Adaptation for Reference-Based Image Super-Resolution [74.24676600271253]
  本稿では、RefSRのためのMASAネットワークを提案し、これらの問題に対処するために2つの新しいモジュールを設計する。 提案したMatch & extract Moduleは、粗大な対応マッチング方式により計算コストを大幅に削減する。 空間適応モジュールは、LR画像とRef画像の分布の差を学習し、Ref特徴の分布を空間適応的にLR特徴の分布に再マップする。
  論文  参考訳（メタデータ） (2021-06-04T07:15:32Z)
• Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video Super-Resolution [100.11355888909102]
  時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。 入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:23Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。