論文の概要: MFSR-GAN: Multi-Frame Super-Resolution with Handheld Motion Modeling

• arxiv url: http://arxiv.org/abs/2502.20824v1
• Date: Fri, 28 Feb 2025 08:11:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:40:51.356822
• Title: MFSR-GAN: Multi-Frame Super-Resolution with Handheld Motion Modeling
• Title（参考訳）: MFSR-GAN:ハンドヘルドモーションモデリングによるマルチフレーム超解法
• Authors: Fadeel Sher Khan, Joshua Ebenezer, Hamid Sheikh, Seok-Jun Lee,
• Abstract要約: スマートフォンのカメラはユビキタスな画像撮影ツールになっているが、小さなセンサーとコンパクトな光学系は空間分解能を制限していることが多い。 LR-HRトレーニングペアを合成するために,マルチ露光静的画像を用いた新しい合成データエンジンを提案する。 また,MFSRのためのマルチスケールRAW-to-RGBネットワークであるMFSR-GANを提案する。
• 参考スコア（独自算出の注目度）: 1.593690982728631
• License:
• Abstract: Smartphone cameras have become ubiquitous imaging tools, yet their small sensors and compact optics often limit spatial resolution and introduce distortions. Combining information from multiple low-resolution (LR) frames to produce a high-resolution (HR) image has been explored to overcome the inherent limitations of smartphone cameras. Despite the promise of multi-frame super-resolution (MFSR), current approaches are hindered by datasets that fail to capture the characteristic noise and motion patterns found in real-world handheld burst images. In this work, we address this gap by introducing a novel synthetic data engine that uses multi-exposure static images to synthesize LR-HR training pairs while preserving sensor-specific noise characteristics and image motion found during handheld burst photography. We also propose MFSR-GAN: a multi-scale RAW-to-RGB network for MFSR. Compared to prior approaches, MFSR-GAN emphasizes a "base frame" throughout its architecture to mitigate artifacts. Experimental results on both synthetic and real data demonstrates that MFSR-GAN trained with our synthetic engine yields sharper, more realistic reconstructions than existing methods for real-world MFSR.
• Abstract（参考訳）: スマートフォンのカメラはユビキタスな撮像ツールになっているが、小型のセンサーと小型の光学系は空間分解能を制限し歪みを生じさせることが多い。 複数の低解像度(LR)フレームから高解像度(HR)画像を生成することで、スマートフォンカメラの固有の限界を克服する。 マルチフレーム超解像(MFSR)の約束にもかかわらず、現在のアプローチは、実世界のハンドヘルドバースト画像に見られる特徴的なノイズや動きパターンをキャプチャできないデータセットによって妨げられている。 本研究では,複数露光静的画像を用いてLR-HRトレーニングペアを合成し,手持ちバースト撮影時に検出されるセンサ固有のノイズ特性と画像の動きを保存した新しい合成データエンジンを導入することにより,このギャップに対処する。 また,MFSRのためのマルチスケールRAW-to-RGBネットワークであるMFSR-GANを提案する。 以前のアプローチと比較すると、MFSR-GANはアーキテクチャ全体を通してアーティファクトを緩和する"ベースフレーム"を強調している。 その結果,MFSR-GANは実世界のMFSRに比べて,よりシャープでリアルな再構成を行うことがわかった。

関連論文リスト

• RBSR: Efficient and Flexible Recurrent Network for Burst Super-Resolution [57.98314517861539]
  バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。 本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:14:13Z)
• RBSRICNN: Raw Burst Super-Resolution through Iterative Convolutional Neural Network [23.451063587138393]
  RBSRICNN(Row Burst Super-Resolution Iterative Convolutional Neural Network)を提案する。 提案したネットワークは、中間SR推定を反復的に洗練することにより最終的な出力を生成する。 定量的および定性的な実験において提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-25T19:01:28Z)
• Blind Motion Deblurring Super-Resolution: When Dynamic Spatio-Temporal Learning Meets Static Image Understanding [87.5799910153545]
  シングルイメージ超解像(SR)とマルチフレームSR(SR)は、低解像度画像を超解する2つの方法である。 単一静止画像から動的時間情報を学習するために, ブラインド・モーション・デブロアリング・スーパー・レゾリューション・ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-05-27T11:52:45Z)
• Deep Burst Super-Resolution [165.90445859851448]
  バースト超解像タスクのための新しいアーキテクチャを提案する。 我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。 実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
  論文  参考訳（メタデータ） (2021-01-26T18:57:21Z)
• Frequency Consistent Adaptation for Real World Super Resolution [64.91914552787668]
  実シーンにスーパーリゾリューション(SR)法を適用する際に周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を提案する。 監視されていない画像から劣化カーネルを推定し、対応するLow-Resolution (LR)画像を生成する。 ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。
  論文  参考訳（メタデータ） (2020-12-18T08:25:39Z)
• Cross-MPI: Cross-scale Stereo for Image Super-Resolution using Multiplane Images [44.85260985973405]
  Cross-MPIは、新しい平面対応MPI機構、マルチスケールガイドアップサンプリングモジュール、超高分解能合成・融合モジュールからなるエンドツーエンドのRefSRネットワークである。 デジタル合成および光ズームクロススケールデータによる実験結果から,Cross-MPIフレームワークは既存のRefSR手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-11-30T09:14:07Z)
• Joint Generative Learning and Super-Resolution For Real-World Camera-Screen Degradation [6.14297871633911]
  現実世界の単一画像超解像(SISR)タスクでは、低解像度画像はより複雑な劣化に苦しむ。 本稿では,カメラ画面の劣化に着目し,実世界のデータセット(Cam-ScreenSR)を構築する。 まず、ダウンサンプリング劣化GAN(DD-GAN)をトレーニングし、その分解をモデル化し、より多様なLR画像を生成する。 そして、二重残差チャネルアテンションネットワーク(DuRCAN)がSR画像の復元を学習する。
  論文  参考訳（メタデータ） (2020-08-01T07:10:13Z)
• EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning [75.17497166510083]
  イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。 イベントストリームからの強度画像の再構成手法が提案されている。 出力は依然として低解像度(LR)、ノイズ、非現実的である。 本研究では、イベントストリームからLR画像を再構成し、画像品質を高め、EventSRと呼ばれる拡張イメージをアップサンプリングする、新しいエンドツーエンドパイプラインを提案する。
  論文  参考訳（メタデータ） (2020-03-17T10:58:10Z)
• DDet: Dual-path Dynamic Enhancement Network for Real-World Image Super-Resolution [69.2432352477966]
  実画像超解像(Real-SR)は、実世界の高分解能画像(HR)と低分解能画像(LR)の関係に焦点を当てている。 本稿では,Real-SRのためのデュアルパス動的拡張ネットワーク(DDet)を提案する。 特徴表現のための大規模な畳み込みブロックを積み重ねる従来の手法とは異なり、非一貫性のある画像対を研究するためのコンテンツ認識フレームワークを導入する。
  論文  参考訳（メタデータ） (2020-02-25T18:24:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。