論文の概要: Real-RawVSR: Real-World Raw Video Super-Resolution with a Benchmark
Dataset
- arxiv url: http://arxiv.org/abs/2209.12475v1
- Date: Mon, 26 Sep 2022 07:33:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 17:45:08.054599
- Title: Real-RawVSR: Real-World Raw Video Super-Resolution with a Benchmark
Dataset
- Title(参考訳): Real-RawVSR: ベンチマークデータセットによる実世界の生ビデオ超解法
- Authors: Huanjing Yue, Zhiming Zhang, Jingyu Yang
- Abstract要約: 実世界の生ビデオSRデータセットを構築し,対応するSR手法を提案する。
2台のデジタル一眼レフカメラとビームスプリッターを使って2倍、3倍、4倍の倍率で低解像度(LR)と高解像度(HR)の生動画を撮影する。
実験により,提案手法は実画像と合成ビデオのSR手法を生画像とsRGB入力で比較した。
- 参考スコア(独自算出の注目度): 19.118790225253964
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, real image super-resolution (SR) has achieved promising
results due to the development of SR datasets and corresponding real SR
methods. In contrast, the field of real video SR is lagging behind, especially
for real raw videos. Considering the superiority of raw image SR over sRGB
image SR, we construct a real-world raw video SR (Real-RawVSR) dataset and
propose a corresponding SR method. We utilize two DSLR cameras and a
beam-splitter to simultaneously capture low-resolution (LR) and high-resolution
(HR) raw videos with 2x, 3x, and 4x magnifications. There are 450 video pairs
in our dataset, with scenes varying from indoor to outdoor, and motions
including camera and object movements. To our knowledge, this is the first
real-world raw VSR dataset. Since the raw video is characterized by the Bayer
pattern, we propose a two-branch network, which deals with both the packed RGGB
sequence and the original Bayer pattern sequence, and the two branches are
complementary to each other. After going through the proposed co-alignment,
interaction, fusion, and reconstruction modules, we generate the corresponding
HR sRGB sequence. Experimental results demonstrate that the proposed method
outperforms benchmark real and synthetic video SR methods with either raw or
sRGB inputs. Our code and dataset are available at
https://github.com/zmzhang1998/Real-RawVSR.
- Abstract(参考訳): 近年、SRデータセットとそれに対応する実SR手法の開発により、実像超解像(SR)は有望な成果を上げている。
対照的に、real video srの分野は、特にreal rawビデオでは遅れを取っている。
sRGB 画像 SR よりも生画像 SR の方が優れていることを考慮し、実世界の生ビデオ SR データセットを構築し、対応する SR 手法を提案する。
2台のデジタル一眼レフカメラとビームスプリッターを用いて,低解像度 (lr) と高解像度 (hr) rawビデオを同時に2倍, 3倍, 4倍の倍率で撮影する。
私たちのデータセットには450の動画ペアがあり、シーンは屋内から屋外、カメラやオブジェクトの動きを含む動きがあります。
私たちの知る限り、これは最初の実世界の生のvsrデータセットです。
生映像はbayerパターンで特徴付けられるため,rggb配列と元のbayerパターン配列の両方を扱う2分岐ネットワークを提案し,これら2枝は相補的である。
提案した協調調整, 相互作用, 融合, 再構成モジュールを通過して, 対応するHR sRGB配列を生成する。
実験結果から,提案手法は実画像と合成ビデオのSR手法を生画像とsRGB入力で比較した。
私たちのコードとデータセットはhttps://github.com/zmzhang1998/Real-RawVSRで公開されています。
関連論文リスト
- BSRAW: Improving Blind RAW Image Super-Resolution [63.408484584265985]
RAW領域におけるブラインド画像の超解像化に取り組む。
生センサデータを用いたトレーニングモデルに特化した,現実的な劣化パイプラインを設計する。
私たちのパイプラインでトレーニングしたBSRAWモデルは、リアルタイムRAW画像をスケールアップし、品質を向上させることができます。
論文 参考訳(メタデータ) (2023-12-24T14:17:28Z) - RawHDR: High Dynamic Range Image Reconstruction from a Single Raw Image [36.17182977927645]
高ダイナミックレンジ(RGB)画像は、標準画像よりもはるかに多くの強度レベルをキャプチャする。
現在の方法では、カメラ処理パイプラインによって劣化した8ビット低ダイナミックレンジ(LDR)s画像から、主にHDR画像を生成する。
既存の方法とは異なり、この研究の中心となる考え方は、より情報に富んだRawセンサーデータを取り入れてHDR画像を生成することである。
論文 参考訳(メタデータ) (2023-09-05T07:58:21Z) - HDR Video Reconstruction with a Large Dynamic Dataset in Raw and sRGB
Domains [23.309488653045026]
高ダイナミックレンジ(HDR)ビデオ再構成は、低ダイナミックレンジ(LDR)ビデオと比較して視覚的品質が優れているため、ますます注目を集めている。
同時にLDRフレームを取得するのが難しいため、動的シーンのための実際のLDR-ペアはいまだに存在しない。
本研究では,2つの異なる露光画像を同時にキャプチャするスタッガーセンサを用いて,生領域とsRGB領域のHDRフレームに融合する手法を提案する。
論文 参考訳(メタデータ) (2023-04-10T11:59:03Z) - Self-Supervised Reversed Image Signal Processing via Reference-Guided
Dynamic Parameter Selection [1.1602089225841632]
メタデータとペア画像を必要としない自己教師付き逆ISP方式を提案する。
提案手法は,RGB画像を参照RAW画像と同じセンサで同一環境で撮影されたRAWライクな画像に変換する。
提案手法は,他の最先端教師付き手法に匹敵する精度で,様々な逆ISPを学習可能であることを示す。
論文 参考訳(メタデータ) (2023-03-24T11:12:05Z) - Efficient Visual Computing with Camera RAW Snapshots [41.9863557302409]
従来のカメラはセンサ上の画像光を捕捉し、画像信号プロセッサ(ISP)を用いてRGB画像に変換する。
RAW画像にはキャプチャされた全ての情報が含まれているため、ISPを用いたRAWからRGBへの変換はビジュアルコンピューティングには必要ないと論じることができる。
RAW画像を用いた高レベルセマンティック理解と低レベル圧縮を実現するための新しい$rho$-Visionフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-15T12:54:21Z) - Benchmark Dataset and Effective Inter-Frame Alignment for Real-World
Video Super-Resolution [65.20905703823965]
ビデオ超解像(VSR)は、高解像度(HR)動画を低解像度(LR)ビデオから再構成することを目的としており、近年大きく進歩している。
既存のVSRメソッドを複雑な劣化を伴う実世界のデータにデプロイすることは依然として困難である。
EAVSRは、提案した多層適応空間変換ネットワーク(MultiAdaSTN)を用いて、事前学習した光フロー推定ネットワークが提供するオフセットを洗練する。
論文 参考訳(メタデータ) (2022-12-10T17:41:46Z) - Reversed Image Signal Processing and RAW Reconstruction. AIM 2022
Challenge Report [109.2135194765743]
本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。
我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
論文 参考訳(メタデータ) (2022-10-20T10:43:53Z) - Towards Low Light Enhancement with RAW Images [101.35754364753409]
我々は、低光強度でRAW画像を使用することの優位性について、最初のベンチマークを行う。
本研究では,RAW画像の特性を計測可能な因子に分解するFEM(Facterized Enhancement Model)を新たに開発した。
実アプリケーションにおけるRAW画像の利点と利用不可のトレードオフを生かしたREENet(RAW-guiding Exposure Enhancement Network)を開発した。
論文 参考訳(メタデータ) (2021-12-28T07:27:51Z) - Invertible Image Signal Processing [42.109752151834456]
InvISP(Invertible Image Signal Processing)パイプラインにより、視覚的に魅力的なsRGBイメージをレンダリングできます。
メモリのオーバーヘッドなしにsrgb画像から生データを合成する代わりに、リアルな生データを再構築できる。
論文 参考訳(メタデータ) (2021-03-28T06:30:15Z) - DDet: Dual-path Dynamic Enhancement Network for Real-World Image
Super-Resolution [69.2432352477966]
実画像超解像(Real-SR)は、実世界の高分解能画像(HR)と低分解能画像(LR)の関係に焦点を当てている。
本稿では,Real-SRのためのデュアルパス動的拡張ネットワーク(DDet)を提案する。
特徴表現のための大規模な畳み込みブロックを積み重ねる従来の手法とは異なり、非一貫性のある画像対を研究するためのコンテンツ認識フレームワークを導入する。
論文 参考訳(メタデータ) (2020-02-25T18:24:51Z) - Learning to Zoom-in via Learning to Zoom-out: Real-world
Super-resolution by Generating and Adapting Degradation [91.40265983636839]
本稿では,SR を任意の LR と HR 画像から学習するためのフレームワークを提案する。
我々は、劣化適応SRネットワークを学習しながら、生成されたデータと実データとの差を最小限にする。
提案手法は,ペア学習法をより好むデータセットであっても,実世界の画像上での最先端のSR結果を実現する。
論文 参考訳(メタデータ) (2020-01-08T05:17:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。