論文の概要: Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and
Events
- arxiv url: http://arxiv.org/abs/2304.06930v1
- Date: Fri, 14 Apr 2023 05:30:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 14:44:52.515779
- Title: Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and
Events
- Title(参考訳): 転がりシャッター画像とイベントからの自己監督されたシーンダイナミックリカバリ
- Authors: Yangguang Wang, Xiang Zhang, Mingyuan Lin, Lei Yu, Boxin Shi, Wen
Yang, and Gui-Song Xia
- Abstract要約: 歪んだローリングシャッター(RS)画像を非歪な高フレームレートのグローバルシャッター(GS)ビデオに反転させることでSDRは深刻な問題となる。
自己教師型学習パラダイムにおけるイベントベースRS2GSフレームワークを提案する。
提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
- 参考スコア(独自算出の注目度): 63.984927609545856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scene Dynamic Recovery (SDR) by inverting distorted Rolling Shutter (RS)
images to an undistorted high frame-rate Global Shutter (GS) video is a
severely ill-posed problem, particularly when prior knowledge about
camera/object motions is unavailable. Commonly used artificial assumptions on
motion linearity and data-specific characteristics, regarding the temporal
dynamics information embedded in the RS scanlines, are prone to producing
sub-optimal solutions in real-world scenarios. To address this challenge, we
propose an event-based RS2GS framework within a self-supervised learning
paradigm that leverages the extremely high temporal resolution of event cameras
to provide accurate inter/intra-frame information. % In this paper, we propose
to leverage the event camera to provide inter/intra-frame information as the
emitted events have an extremely high temporal resolution and learn an
event-based RS2GS network within a self-supervised learning framework, where
real-world events and RS images can be exploited to alleviate the performance
degradation caused by the domain gap between the synthesized and real data.
Specifically, an Event-based Inter/intra-frame Compensator (E-IC) is proposed
to predict the per-pixel dynamic between arbitrary time intervals, including
the temporal transition and spatial translation. Exploring connections in terms
of RS-RS, RS-GS, and GS-RS, we explicitly formulate mutual constraints with the
proposed E-IC, resulting in supervisions without ground-truth GS images.
Extensive evaluations over synthetic and real datasets demonstrate that the
proposed method achieves state-of-the-art and shows remarkable performance for
event-based RS2GS inversion in real-world scenarios. The dataset and code are
available at https://w3un.github.io/selfunroll/.
- Abstract(参考訳): 歪んだローリングシャッター(RS)画像を非歪な高フレームレートのグローバルシャッター(GS)ビデオに反転させることによるシーンダイナミックリカバリ(SDR)は、特にカメラや物体の動きに関する事前の知識が利用できない場合に、深刻な問題となる。
動きの線形性とデータ固有の特性に関する人工的な仮定は、rsスキャンラインに埋め込まれた時間的ダイナミクス情報に関するもので、現実のシナリオで準最適解を生成する傾向がある。
そこで本研究では,イベントカメラの超高時間分解能を利用した自己教師あり学習パラダイムにおけるイベントベースrs2gsフレームワークを提案する。
そこで,本稿では,イベントカメラを用いて,発生したイベントの時間分解能が極めて高く,自己教師あり学習フレームワーク内でイベントベースのrs2gsネットワークを学習し,実世界イベントとrs画像を用いて,合成データと実データとのドメイン間ギャップによる性能低下を緩和する手法を提案する。
具体的には,イベントベースのフレーム間補償器(E-IC)を提案し,時間遷移と空間変換を含む任意の時間間隔間の画素単位のダイナミクスを予測する。
RS-RS, RS-GS, GS-RSの接続関係を探索し, 提案したE-ICとの相互制約を明示的に定式化し, GS画像のない監視を行う。
合成および実データに対する広範囲な評価は,提案手法が最先端を達成し,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて顕著な性能を示すことを示す。
データセットとコードはhttps://w3un.github.io/selfunroll/で入手できる。
関連論文リスト
- HR-INR: Continuous Space-Time Video Super-Resolution via Event Camera [22.208120663778043]
連続時空超解像(C-STVSR)は、任意のスケールで解像度とフレームレートを同時に向上することを目的としている。
我々は、暗黙的神経表現(INR)に基づいて、全体依存と局所運動の両方をキャプチャするHR-INRと呼ばれる新しいC-STVSRフレームワークを提案する。
次に、時間的埋め込みを持つ新しいINRベースのデコーダを提案し、時間的知覚場を大きくすることで、長期的依存関係をキャプチャする。
論文 参考訳(メタデータ) (2024-05-22T06:51:32Z) - Implicit Event-RGBD Neural SLAM [54.74363487009845]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
論文 参考訳(メタデータ) (2023-11-18T08:48:58Z) - An Asynchronous Linear Filter Architecture for Hybrid Event-Frame Cameras [9.69495347826584]
本稿では,HDRビデオ再構成と空間畳み込みのための非同期線形フィルタアーキテクチャを提案する。
提案したAKFパイプラインは、絶対強度誤差(69.4%削減)と画像類似度指数(平均35.5%改善)の両方において、他の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2023-09-03T12:37:59Z) - Self-supervised Learning of Event-guided Video Frame Interpolation for
Rolling Shutter Frames [6.62974666987451]
本稿では、任意のフレームレート遅延グローバルシャッター(GS)フレームを2つの連続ローリングシャッター(RS)フレームから回収する難題に挑戦する最初の試みを行う。
本稿では,RSフレーム補正VFIを統一フレームワークでガイドするイベントを利用した,新たな自己教師型フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-27T14:30:25Z) - Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。
既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。
本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T15:03:23Z) - Rolling Shutter Inversion: Bring Rolling Shutter Images to High
Framerate Global Shutter Video [111.08121952640766]
本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。
RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。
提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2022-10-06T16:47:12Z) - Learning Adaptive Warping for Real-World Rolling Shutter Correction [52.45689075940234]
本稿では,実世界のローリングシャッター(RS)補正データセットであるBS-RSCと,歪みビデオ中のRSフレームを補正するための対応するモデルを提案する。
ビデオキャプチャ用のCMOSベースのセンサを備えたコンシューマ市場のモバイルデバイスは、ビデオ取得プロセス中に相対的な動きが発生した場合、ローリングシャッター効果をもたらすことが多い。
論文 参考訳(メタデータ) (2022-04-29T05:13:50Z) - Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。
我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
論文 参考訳(メタデータ) (2022-03-12T14:57:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。