論文の概要: Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events

• arxiv url: http://arxiv.org/abs/2304.06930v2
• Date: Wed, 19 Apr 2023 16:11:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 16:43:34.415882
• Title: Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events
• Title（参考訳）: 転がりシャッター画像とイベントからの自己監督されたシーンダイナミックリカバリ
• Authors: Yangguang Wang, Xiang Zhang, Mingyuan Lin, Lei Yu, Boxin Shi, Wen Yang, and Gui-Song Xia
• Abstract要約: 任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。 提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
• 参考スコア（独自算出の注目度）: 63.984927609545856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene Dynamic Recovery (SDR) by inverting distorted Rolling Shutter (RS) images to an undistorted high frame-rate Global Shutter (GS) video is a severely ill-posed problem due to the missing temporal dynamic information in both RS intra-frame scanlines and inter-frame exposures, particularly when prior knowledge about camera/object motions is unavailable. Commonly used artificial assumptions on scenes/motions and data-specific characteristics are prone to producing sub-optimal solutions in real-world scenarios. To address this challenge, we propose an event-based SDR network within a self-supervised learning paradigm, i.e., SelfUnroll. We leverage the extremely high temporal resolution of event cameras to provide accurate inter/intra-frame dynamic information. Specifically, an Event-based Inter/intra-frame Compensator (E-IC) is proposed to predict the per-pixel dynamic between arbitrary time intervals, including the temporal transition and spatial translation. Exploring connections in terms of RS-RS, RS-GS, and GS-RS, we explicitly formulate mutual constraints with the proposed E-IC, resulting in supervisions without ground-truth GS images. Extensive evaluations over synthetic and real datasets demonstrate that the proposed method achieves state-of-the-art and shows remarkable performance for event-based RS2GS inversion in real-world scenarios. The dataset and code are available at https://w3un.github.io/selfunroll/.
• Abstract（参考訳）: 歪んだローリングシャッター(RS)画像を非歪な高フレームレートのGlobal Shutter(GS)ビデオに反転させることによるシーンダイナミックリカバリ(SDR)は、RSフレーム内スキャンラインとフレーム間露出の両方において時間的ダイナミック情報が欠落しているため、特にカメラや物体の動きに関する事前の知識が利用できないため、深刻な問題となる。 シーンや動きやデータ特有の特性に関する人工的な仮定は、現実のシナリオにおいて最適なサブソリューションを作り出す傾向がある。 この課題に対処するために,自己教師付き学習パラダイム(SelfUnroll)内でイベントベースのSDRネットワークを提案する。 イベントカメラの時間分解能を極端に高め、フレーム間/フレーム間のダイナミックな正確な情報を提供する。 具体的には,イベントベースのフレーム間補償器(E-IC)を提案し,時間遷移と空間変換を含む任意の時間間隔間の画素単位のダイナミクスを予測する。 RS-RS, RS-GS, GS-RSの接続関係を探索し, 提案したE-ICとの相互制約を明示的に定式化し, GS画像のない監視を行う。 合成および実データに対する広範囲な評価は,提案手法が最先端を達成し,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて顕著な性能を示すことを示す。 データセットとコードはhttps://w3un.github.io/selfunroll/で入手できる。

関連論文リスト

• HR-INR: Continuous Space-Time Video Super-Resolution via Event Camera [22.208120663778043]
  連続時空超解像(C-STVSR)は、任意のスケールで解像度とフレームレートを同時に向上することを目的としている。 我々は、暗黙的神経表現(INR)に基づいて、全体依存と局所運動の両方をキャプチャするHR-INRと呼ばれる新しいC-STVSRフレームワークを提案する。 次に、時間的埋め込みを持つ新しいINRベースのデコーダを提案し、時間的知覚場を大きくすることで、長期的依存関係をキャプチャする。
  論文  参考訳（メタデータ） (2024-05-22T06:51:32Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• An Asynchronous Linear Filter Architecture for Hybrid Event-Frame Cameras [9.69495347826584]
  本稿では,HDRビデオ再構成と空間畳み込みのための非同期線形フィルタアーキテクチャを提案する。 提案したAKFパイプラインは、絶対強度誤差(69.4%削減)と画像類似度指数(平均35.5%改善)の両方において、他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-03T12:37:59Z)
• Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames [6.62974666987451]
  本稿では、任意のフレームレート遅延グローバルシャッター(GS)フレームを2つの連続ローリングシャッター(RS)フレームから回収する難題に挑戦する最初の試みを行う。 本稿では,RSフレーム補正VFIを統一フレームワークでガイドするイベントを利用した,新たな自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-27T14:30:25Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Learning Adaptive Warping for Real-World Rolling Shutter Correction [52.45689075940234]
  本稿では,実世界のローリングシャッター(RS)補正データセットであるBS-RSCと,歪みビデオ中のRSフレームを補正するための対応するモデルを提案する。 ビデオキャプチャ用のCMOSベースのセンサを備えたコンシューマ市場のモバイルデバイスは、ビデオ取得プロセス中に相対的な動きが発生した場合、ローリングシャッター効果をもたらすことが多い。
  論文  参考訳（メタデータ） (2022-04-29T05:13:50Z)
• Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
  ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。 我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
  論文  参考訳（メタデータ） (2022-03-12T14:57:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。