論文の概要: EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning

• arxiv url: http://arxiv.org/abs/2003.07640v1
• Date: Tue, 17 Mar 2020 10:58:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 21:32:17.906898
• Title: EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning
• Title（参考訳）: EventSR: エンドツーエンドの逆学習による非同期イベントからイメージ再構築,リカバリ,スーパーリゾリューションへ
• Authors: Lin Wang, Tae-Kyun Kim, Kuk-Jin Yoon
• Abstract要約: イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。 イベントストリームからの強度画像の再構成手法が提案されている。 出力は依然として低解像度(LR)、ノイズ、非現実的である。 本研究では、イベントストリームからLR画像を再構成し、画像品質を高め、EventSRと呼ばれる拡張イメージをアップサンプリングする、新しいエンドツーエンドパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 75.17497166510083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Event cameras sense intensity changes and have many advantages over conventional cameras. To take advantage of event cameras, some methods have been proposed to reconstruct intensity images from event streams. However, the outputs are still in low resolution (LR), noisy, and unrealistic. The low-quality outputs stem broader applications of event cameras, where high spatial resolution (HR) is needed as well as high temporal resolution, dynamic range, and no motion blur. We consider the problem of reconstructing and super-resolving intensity images from LR events, when no ground truth (GT) HR images and down-sampling kernels are available. To tackle the challenges, we propose a novel end-to-end pipeline that reconstructs LR images from event streams, enhances the image qualities and upsamples the enhanced images, called EventSR. For the absence of real GT images, our method is primarily unsupervised, deploying adversarial learning. To train EventSR, we create an open dataset including both real-world and simulated scenes. The use of both datasets boosts up the network performance, and the network architectures and various loss functions in each phase help improve the image qualities. The whole pipeline is trained in three phases. While each phase is mainly for one of the three tasks, the networks in earlier phases are fine-tuned by respective loss functions in an end-to-end manner. Experimental results show that EventSR reconstructs high-quality SR images from events for both simulated and real-world data.
• Abstract（参考訳）: イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。 イベントカメラを活用するために,イベントストリームからの強度画像の再構成手法が提案されている。 しかし、出力は依然として低解像度(LR)、ノイズ、非現実的である。 低品質の出力は、高空間分解能(HR)と高時間分解能、ダイナミックレンジ、動きのぼけのないイベントカメラの幅広い応用に起因している。 我々は,GT HR 画像やダウンサンプリングカーネルが存在しない場合,LR イベントから高精細画像の再構成と超解像化の問題を考察する。 この課題に対処するため,イベントストリームからLR画像を再構成し,画質を向上し,EventSRと呼ばれる拡張イメージを増幅する,新たなエンドツーエンドパイプラインを提案する。 実際のGT画像がないため,本手法は主に教師なしであり,敵対学習を展開させる。 eventrをトレーニングするには、実世界とシミュレーションシーンの両方を含むオープンデータセットを作成します。 両方のデータセットを使用することでネットワーク性能が向上し、各フェーズにおけるネットワークアーキテクチャとさまざまな損失関数が画質の向上に役立つ。 パイプライン全体は3つのフェーズでトレーニングされる。 各フェーズは、主に3つのタスクのうちの1つだが、前フェーズのネットワークは、エンドツーエンドで各損失関数によって微調整される。 実験結果から,EventSRはシミュレーションデータと実世界データの両方のイベントから高品質なSRイメージを再構成することがわかった。

関連論文リスト

• E$^3$NeRF: Efficient Event-Enhanced Neural Radiance Fields from Blurry Images [25.304680391243537]
  E$3$NeRFの高効率イベント強化型NeRFを提案する。 イベントストリームからの時空間情報を利用して,時間的ぼやけから学習注意を均等に分散する。 合成データと実世界のデータの両方の実験により、E$3$NeRFはぼやけた画像から鋭いNeRFを効果的に学習できることを示した。
  論文  参考訳（メタデータ） (2024-08-03T18:47:31Z)
• Learning Many-to-Many Mapping for Unpaired Real-World Image Super-resolution and Downscaling [60.80788144261183]
  実世界のLR画像とHR画像の双方向多対多マッピングを教師なしで同時に学習するSDFlowと呼ばれる画像ダウンスケーリングとSRモデルを提案する。 実世界の画像SRデータセットによる実験結果から,SDFlowは定量的かつ定性的に,多様な現実的なLRとSRの画像を生成可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-08T01:48:34Z)
• Learning to Super-Resolve Blurry Images with Events [62.61911224564196]
  単一運動ブラインド画像(SRB)からの超解像は, 運動ぼけと低空間分解能の合同劣化により, 深刻な問題となる。 我々は、SRBの負担を軽減するためにイベントを使用し、イベント強化SRB(E-SRB)アルゴリズムを提案する。 提案するeSL-Net++は最先端の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-27T13:46:42Z)
• HDR Reconstruction from Bracketed Exposures and Events [12.565039752529797]
  高品質なHDR画像の再構成は、現代の計算写真の中心にある。 特徴領域におけるブラケット画像とイベントを融合したマルチモーダルなエンドツーエンド学習型HDRイメージングシステムを提案する。 我々のフレームワークは、スライディングウィンドウを使用して入力イベントストリームをサブサンプリングすることで、イベントの時間分解能を高める。
  論文  参考訳（メタデータ） (2022-03-28T15:04:41Z)
• RBSRICNN: Raw Burst Super-Resolution through Iterative Convolutional Neural Network [23.451063587138393]
  RBSRICNN(Row Burst Super-Resolution Iterative Convolutional Neural Network)を提案する。 提案したネットワークは、中間SR推定を反復的に洗練することにより最終的な出力を生成する。 定量的および定性的な実験において提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-25T19:01:28Z)
• Blind Motion Deblurring Super-Resolution: When Dynamic Spatio-Temporal Learning Meets Static Image Understanding [87.5799910153545]
  シングルイメージ超解像(SR)とマルチフレームSR(SR)は、低解像度画像を超解する2つの方法である。 単一静止画像から動的時間情報を学習するために, ブラインド・モーション・デブロアリング・スーパー・レゾリューション・ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-05-27T11:52:45Z)
• Frequency Consistent Adaptation for Real World Super Resolution [64.91914552787668]
  実シーンにスーパーリゾリューション(SR)法を適用する際に周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を提案する。 監視されていない画像から劣化カーネルを推定し、対応するLow-Resolution (LR)画像を生成する。 ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。
  論文  参考訳（メタデータ） (2020-12-18T08:25:39Z)
• DDet: Dual-path Dynamic Enhancement Network for Real-World Image Super-Resolution [69.2432352477966]
  実画像超解像(Real-SR)は、実世界の高分解能画像(HR)と低分解能画像(LR)の関係に焦点を当てている。 本稿では,Real-SRのためのデュアルパス動的拡張ネットワーク(DDet)を提案する。 特徴表現のための大規模な畳み込みブロックを積み重ねる従来の手法とは異なり、非一貫性のある画像対を研究するためのコンテンツ認識フレームワークを導入する。
  論文  参考訳（メタデータ） (2020-02-25T18:24:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。