論文の概要: Gyro-based Neural Single Image Deblurring
- arxiv url: http://arxiv.org/abs/2404.00916v2
- Date: Mon, 8 Apr 2024 08:08:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 00:06:38.807584
- Title: Gyro-based Neural Single Image Deblurring
- Title(参考訳): ジャイロによるニューラルシングルイメージの劣化
- Authors: Heemin Yang, Jaesung Rim, Seungyong Lee, Seung-Hwan Baek, Sunghyun Cho,
- Abstract要約: 本稿では,ジャイロセンサを用いて画像劣化の悪さを解消する単一画像除去手法を提案する。
GyroDeblurNetは、ジャイロ精製ブロックとジャイロ分解ブロックという、2つの新しいニューラルネットワークブロックを備えている。
提案手法は, 誤ジャイロデータを有効利用することにより, 最先端の劣化品質を実現することを実証した。
- 参考スコア(独自算出の注目度): 25.97417586599356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present GyroDeblurNet, a novel single image deblurring method that utilizes a gyro sensor to effectively resolve the ill-posedness of image deblurring. The gyro sensor provides valuable information about camera motion during exposure time that can significantly improve deblurring quality. However, effectively exploiting real-world gyro data is challenging due to significant errors from various sources including sensor noise, the disparity between the positions of a camera module and a gyro sensor, the absence of translational motion information, and moving objects whose motions cannot be captured by a gyro sensor. To handle gyro error, GyroDeblurNet is equipped with two novel neural network blocks: a gyro refinement block and a gyro deblurring block. The gyro refinement block refines the error-ridden gyro data using the blur information from the input image. On the other hand, the gyro deblurring block removes blur from the input image using the refined gyro data and further compensates for gyro error by leveraging the blur information from the input image. For training a neural network with erroneous gyro data, we propose a training strategy based on the curriculum learning. We also introduce a novel gyro data embedding scheme to represent real-world intricate camera shakes. Finally, we present a synthetic dataset and a real dataset for the training and evaluation of gyro-based single image deblurring. Our experiments demonstrate that our approach achieves state-of-the-art deblurring quality by effectively utilizing erroneous gyro data.
- Abstract(参考訳): 本稿では,ジャイロセンサを用いて画像の劣化を効果的に解消する,新しい単一画像分解手法であるGyroDeblurNetを提案する。
ジャイロセンサーは、露光時のカメラの動きに関する貴重な情報を提供する。
しかし,センサノイズ,カメラモジュールとジャイロセンサの位置のずれ,翻訳動作情報の欠如,ジャイロセンサで動きを捉えられない移動物体など,様々な情報源からの重大な誤りにより,現実のジャイロデータを効果的に活用することは困難である。
ジャイロエラーを処理するため、GyroDeblurNetはジャイロ精製ブロックとジャイロ除去ブロックという2つの新しいニューラルネットワークブロックを備えている。
ジャイロ精錬ブロックは、入力画像からのぼやけた情報を用いて、誤差のあるジャイロデータを精錬する。
一方、ジャイロ除去ブロックは、精製されたジャイロデータを用いて入力画像からぼかしを除去し、入力画像からのぼかし情報を利用してジャイロ誤差を補正する。
誤ったジャイロデータを用いてニューラルネットワークをトレーニングするために,カリキュラム学習に基づくトレーニング戦略を提案する。
また、現実世界の複雑なカメラの揺れを表す新しいジャイロデータ埋め込み方式を導入する。
最後に,ジャイロ画像の学習と評価のための合成データセットと実際のデータセットを提案する。
提案手法は, 誤ジャイロデータを有効利用することにより, 最先端の劣化品質を実現することを実証した。
関連論文リスト
- Toward Efficient Visual Gyroscopes: Spherical Moments, Harmonics Filtering, and Masking Techniques for Spherical Camera Applications [83.8743080143778]
従来のRGBカメラに比べて視野が広い全方位カメラの統合は、より正確で堅牢な結果をもたらすことが証明されている。
しかし、特徴が欠如し、大きなノイズが重大なエラーを引き起こし、画像の特定の特徴が十分な強度を欠いている状況において、課題が生じる。
本稿では、分析手法とニューラルネットワークアプローチを組み合わせた新しい視覚ジャイロスコープを導入することにより、これらの課題に対処する。
論文 参考訳(メタデータ) (2024-04-02T13:19:06Z) - Joint 3D Shape and Motion Estimation from Rolling Shutter Light-Field
Images [2.0277446818410994]
本研究では,ローリングシャッターセンサを備えた光界カメラで撮影した1枚の画像からシーンを3次元再構成する手法を提案する。
本手法は、光場に存在する3次元情報キューと、ローリングシャッター効果によって提供される動き情報を利用する。
本稿では,このセンサの撮像プロセスの汎用モデルと再投射誤差を最小化する2段階アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-02T15:08:18Z) - GyroFlow+: Gyroscope-Guided Unsupervised Deep Homography and Optical
Flow Learning [43.87584329959394]
既存のホモグラフィーと光学フロー法は、挑戦的なシーンでは誤っている。
我々はジャイロスコープをホモグラフィと光フロー学習に融合させる教師なし学習手法を提案する。
本手法は,レギュラーシーンと挑戦シーンの両方において最先端の手法より優れる。
論文 参考訳(メタデータ) (2023-01-23T13:44:15Z) - Neural Global Shutter: Learn to Restore Video from a Rolling Shutter
Camera with Global Reset Feature [89.57742172078454]
ローリングシャッター(RS)画像センサは、撮影中にカメラや物体が動き出すとき、幾何学的歪みに悩まされる。
本稿では,ローリングシャッターとグローバルリセット機能(RSGR)を用いて,クリーンなグローバルシャッター(GS)ビデオの復元を行う。
この機能により、修正問題をデブロアのようなものにし、不正確でコストのかかる運動推定をなくすことができる。
論文 参考訳(メタデータ) (2022-04-03T02:49:28Z) - MC-Blur: A Comprehensive Benchmark for Image Deblurring [127.6301230023318]
ほとんどの実世界の画像では、ブラーは動きやデフォーカスなど様々な要因によって引き起こされる。
我々は,MC-Blurと呼ばれる大規模マルチライク画像デブロアリングデータセットを新たに構築する。
MC-Blurデータセットに基づいて,異なるシナリオにおけるSOTA法の比較を行う。
論文 参考訳(メタデータ) (2021-12-01T02:10:42Z) - RSDet++: Point-based Modulated Loss for More Accurate Rotated Object
Detection [53.57176614020894]
我々は、回転感度誤差(RSE)として、5パラメータと8パラメータの回転物体検出法の両方における損失の不連続性を分類する。
問題を軽減するために新しい変調された回転損失を導入し、回転感度検出ネットワーク(RSDet)を提案する。
10ピクセル未満のオブジェクトに対する本手法の精度をさらに向上するため,新しいRSDet++を提案する。
論文 参考訳(メタデータ) (2021-09-24T11:57:53Z) - GyroFlow: Gyroscope-Guided Unsupervised Optical Flow Learning [12.320006863387757]
我々はジャイロスコープを光フロー学習に融合させる教師なし学習手法を提案する。
私たちの知る限りでは、これはジャイロスコープデータと画像コンテンツを光フロー学習に融合させた最初のディープラーニングベースのフレームワークです。
論文 参考訳(メタデータ) (2021-03-25T10:14:57Z) - DeepOIS: Gyroscope-Guided Deep Optical Image Stabilizer Compensation [26.551842125984397]
モバイルで撮影された画像はジャイロスコープセンサーを使ってアライメントすることができる。
光画像安定化装置(OIS)は、撮影中に画像を調整することで、この可能性を終わらせる。
我々は,OISカメラ上でジャイロスコープが画像アライメントに使用されるように,OISが引き起こす動きを補償するディープネットワークを提案する。
論文 参考訳(メタデータ) (2021-01-27T03:23:46Z) - Beyond Camera Motion Blur Removing: How to Handle Outliers in Deblurring [14.244661742557899]
シーンが飽和画素などの外れ値を持つ場合には、キャプチャされたぼやけた画像の復元がより困難になる。
まず,エッジ対応のスケール・リカレント・ネットワーク(EASRN)を提案する。
次に,トレーニングプロセスの監視とエッジ復元の制約を行うために,有能なエッジ検出ネットワークを提案する。
論文 参考訳(メタデータ) (2020-02-24T12:32:04Z) - Self-Supervised Linear Motion Deblurring [112.75317069916579]
深層畳み込みニューラルネットワークは、画像の劣化の最先端技術である。
本稿では,自己監督型動作遅延に対する識別可能なreblurモデルを提案する。
我々の実験は、自己監督された単一画像の劣化が本当に実現可能であることを実証した。
論文 参考訳(メタデータ) (2020-02-10T20:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。