論文の概要: Exploit Camera Raw Data for Video Super-Resolution via Hidden Markov Model Inference

• arxiv url: http://arxiv.org/abs/2008.10710v2
• Date: Tue, 5 Jan 2021 04:03:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 12:36:28.282379
• Title: Exploit Camera Raw Data for Video Super-Resolution via Hidden Markov Model Inference
• Title（参考訳）: 隠れマルコフモデル推論によるビデオ超解像のための露天撮影データ
• Authors: Xiaohong Liu, Kangdi Shi, Zhe Wang, Jun Chen
• Abstract要約: 本稿では,カメラセンサデータを直接利用可能な,新しい深層学習型ビデオ超解法(VSR)を提案する。 提案手法は、最先端技術と比較して優れたVSR結果が得られ、特定のカメラISPに適応できる。
• 参考スコア（独自算出の注目度）: 17.82232046395501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To the best of our knowledge, the existing deep-learning-based Video Super-Resolution (VSR) methods exclusively make use of videos produced by the Image Signal Processor (ISP) of the camera system as inputs. Such methods are 1) inherently suboptimal due to information loss incurred by non-invertible operations in ISP, and 2) inconsistent with the real imaging pipeline where VSR in fact serves as a pre-processing unit of ISP. To address this issue, we propose a new VSR method that can directly exploit camera sensor data, accompanied by a carefully built Raw Video Dataset (RawVD) for training, validation, and testing. This method consists of a Successive Deep Inference (SDI) module and a reconstruction module, among others. The SDI module is designed according to the architectural principle suggested by a canonical decomposition result for Hidden Markov Model (HMM) inference; it estimates the target high-resolution frame by repeatedly performing pairwise feature fusion using deformable convolutions. The reconstruction module, built with elaborately designed Attention-based Residual Dense Blocks (ARDBs), serves the purpose of 1) refining the fused feature and 2) learning the color information needed to generate a spatial-specific transformation for accurate color correction. Extensive experiments demonstrate that owing to the informativeness of the camera raw data, the effectiveness of the network architecture, and the separation of super-resolution and color correction processes, the proposed method achieves superior VSR results compared to the state-of-the-art and can be adapted to any specific camera-ISP. Code and dataset are available at https://github.com/proteus1991/RawVSR.
• Abstract（参考訳）: 我々の知る限り、既存のディープラーニングベースのビデオ超解法(VSR)手法は、カメラシステムの画像信号処理装置(ISP)によって生成されたビデオのみを入力として利用する。 そのような方法 1)ISPにおける非可逆操作による情報損失による本質的に準最適 2) VSRがISPの前処理ユニットとして機能する実際の撮像パイプラインとは矛盾する。 この問題に対処するために,カメラセンサデータを直接活用する新しいVSR手法を提案し,RawVD(Raw Video Dataset)を慎重に構築し,トレーニング,検証,テストを行う。 この方法は、逐次的深層推論(sdi)モジュールと再構成モジュールから構成されている。 SDIモジュールは、HMM(Hidden Markov Model)推論の標準分解結果によって提案されるアーキテクチャ原理に基づいて設計されており、変形可能な畳み込みを用いてペアワイズ特徴融合を繰り返し実行することにより、ターゲットの高解像度フレームを推定する。 注意に基づく残留密集ブロック(ardbs)を精巧に設計した復元モジュールは,その目的を果たす。 1)融合した特徴を精錬し、 2)正確な色補正のための空間特異的変換を生成するために必要な色情報を学ぶ。 広範にわたる実験により, カメラの生データ, ネットワークアーキテクチャの有効性, および超解像および色補正プロセスの分離により, 提案手法は最先端技術に比べて優れたvsr性能を達成でき, 任意の特定のカメラispに適合できることを示した。 コードとデータセットはhttps://github.com/proteus1991/rawvsrで入手できる。

関連論文リスト

• A Learnable Color Correction Matrix for RAW Reconstruction [19.394856071610604]
  複雑な逆画像信号処理装置(ISP)を近似する学習可能な色補正行列(CCM)を導入する。 実験結果から,本手法で生成したRAW(simRAW)画像は,より複雑な逆ISP法で生成した画像と同等の性能向上が得られた。
  論文  参考訳（メタデータ） (2024-09-04T07:46:42Z)
• Reference-based Image and Video Super-Resolution via C2-Matching [100.0808130445653]
  本稿では,C2-Matchingを提案する。 C2-Matchingは、標準的なCUFED5ベンチマークにおいて、最先端のアーツを著しく上回っている。 また、類似シーンで撮影された画像がHR参照画像として機能するため、C2-Matchingを参照ベースでビデオスーパーリゾリューションタスクに拡張する。
  論文  参考訳（メタデータ） (2022-12-19T16:15:02Z)
• Learning Detail-Structure Alternative Optimization for Blind Super-Resolution [69.11604249813304]
  そこで我々は,ブラインドSRに先立ってカーネルを曖昧にすることなく,再帰的な詳細構造代替最適化を実現する,有効かつカーネルフリーなネットワークDSSRを提案する。 DSSRでは、細部構造変調モジュール(DSMM)が構築され、画像の詳細と構造の相互作用と協調を利用する。 本手法は既存の手法に対して最先端の手法を実現する。
  論文  参考訳（メタデータ） (2022-12-03T14:44:17Z)
• Self-Supervised Deep Blind Video Super-Resolution [46.410705294831374]
  本稿では,視覚ビデオSR問題を解決するための自己教師付き学習手法を提案する。 我々は、ビデオSRの画像形成に応じて、元のLRビデオから補助的なペアデータを生成する。 実験により,本手法は,ベンチマークや実世界のビデオにおいて,最先端の手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2022-01-19T05:18:44Z)
• RBSRICNN: Raw Burst Super-Resolution through Iterative Convolutional Neural Network [23.451063587138393]
  RBSRICNN(Row Burst Super-Resolution Iterative Convolutional Neural Network)を提案する。 提案したネットワークは、中間SR推定を反復的に洗練することにより最終的な出力を生成する。 定量的および定性的な実験において提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-25T19:01:28Z)
• Enhanced Hyperspectral Image Super-Resolution via RGB Fusion and TV-TV Minimization [9.584717030078245]
  ハイパースペクトル(HS)画像には、リモートセンシング、監視、天文学などの応用において重要な、詳細なスペクトル情報が含まれている。 HSカメラのハードウェア制限のため、撮像された画像は空間解像度が低い。 それらを改善するために、低分解能ハイパースペクトル画像は、融合ベースHS画像超解像と呼ばれる技術により、従来の高分解能RGB画像と融合する。
  論文  参考訳（メタデータ） (2021-06-13T18:52:47Z)
• LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single Image Super-Resolution and Beyond [75.37541439447314]
  単一画像超解像(SISR)は、低解像度(LR)画像を高解像度(HR)バージョンにアップサンプリングする根本的な問題を扱う。 本稿では,線形組立画素適応回帰ネットワーク (LAPAR) を提案する。
  論文  参考訳（メタデータ） (2021-05-21T15:47:18Z)
• Exploiting Raw Images for Real-Scene Super-Resolution [105.18021110372133]
  本稿では,合成データと実撮影画像とのギャップを埋めるために,実シーンにおける単一画像の超解像化の問題について検討する。 本稿では,デジタルカメラの撮像過程を模倣して,よりリアルなトレーニングデータを生成する手法を提案する。 また、原画像に記録された放射情報を活用するために、2分岐畳み込みニューラルネットワークを開発した。
  論文  参考訳（メタデータ） (2021-02-02T16:10:15Z)
• Deep Burst Super-Resolution [165.90445859851448]
  バースト超解像タスクのための新しいアーキテクチャを提案する。 我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。 実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
  論文  参考訳（メタデータ） (2021-01-26T18:57:21Z)
• MuCAN: Multi-Correspondence Aggregation Network for Video Super-Resolution [63.02785017714131]
  ビデオ超解像(VSR)は、複数の低解像度フレームを使用して、各フレームに対して高解像度の予測を生成することを目的としている。 フレーム間およびフレーム内は、時間的および空間的情報を利用するための鍵となるソースである。 VSRのための効果的なマルチ対応アグリゲーションネットワーク(MuCAN)を構築した。
  論文  参考訳（メタデータ） (2020-07-23T05:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。