論文の概要: Gyro-based Neural Single Image Deblurring
- arxiv url: http://arxiv.org/abs/2404.00916v2
- Date: Mon, 8 Apr 2024 08:08:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 00:06:38.807584
- Title: Gyro-based Neural Single Image Deblurring
- Title（参考訳）: ジャイロによるニューラルシングルイメージの劣化
- Authors: Heemin Yang, Jaesung Rim, Seungyong Lee, Seung-Hwan Baek, Sunghyun Cho,
- Abstract要約: 本稿では,ジャイロセンサを用いて画像劣化の悪さを解消する単一画像除去手法を提案する。
GyroDeblurNetは、ジャイロ精製ブロックとジャイロ分解ブロックという、2つの新しいニューラルネットワークブロックを備えている。
提案手法は, 誤ジャイロデータを有効利用することにより, 最先端の劣化品質を実現することを実証した。
- 参考スコア（独自算出の注目度）: 25.97417586599356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present GyroDeblurNet, a novel single image deblurring method that utilizes a gyro sensor to effectively resolve the ill-posedness of image deblurring. The gyro sensor provides valuable information about camera motion during exposure time that can significantly improve deblurring quality. However, effectively exploiting real-world gyro data is challenging due to significant errors from various sources including sensor noise, the disparity between the positions of a camera module and a gyro sensor, the absence of translational motion information, and moving objects whose motions cannot be captured by a gyro sensor. To handle gyro error, GyroDeblurNet is equipped with two novel neural network blocks: a gyro refinement block and a gyro deblurring block. The gyro refinement block refines the error-ridden gyro data using the blur information from the input image. On the other hand, the gyro deblurring block removes blur from the input image using the refined gyro data and further compensates for gyro error by leveraging the blur information from the input image. For training a neural network with erroneous gyro data, we propose a training strategy based on the curriculum learning. We also introduce a novel gyro data embedding scheme to represent real-world intricate camera shakes. Finally, we present a synthetic dataset and a real dataset for the training and evaluation of gyro-based single image deblurring. Our experiments demonstrate that our approach achieves state-of-the-art deblurring quality by effectively utilizing erroneous gyro data.
- Abstract（参考訳）: 本稿では,ジャイロセンサを用いて画像の劣化を効果的に解消する,新しい単一画像分解手法であるGyroDeblurNetを提案する。
ジャイロセンサーは、露光時のカメラの動きに関する貴重な情報を提供する。
しかし,センサノイズ,カメラモジュールとジャイロセンサの位置のずれ,翻訳動作情報の欠如,ジャイロセンサで動きを捉えられない移動物体など,様々な情報源からの重大な誤りにより,現実のジャイロデータを効果的に活用することは困難である。
ジャイロエラーを処理するため、GyroDeblurNetはジャイロ精製ブロックとジャイロ除去ブロックという2つの新しいニューラルネットワークブロックを備えている。
ジャイロ精錬ブロックは、入力画像からのぼやけた情報を用いて、誤差のあるジャイロデータを精錬する。
一方、ジャイロ除去ブロックは、精製されたジャイロデータを用いて入力画像からぼかしを除去し、入力画像からのぼかし情報を利用してジャイロ誤差を補正する。
誤ったジャイロデータを用いてニューラルネットワークをトレーニングするために,カリキュラム学習に基づくトレーニング戦略を提案する。
また、現実世界の複雑なカメラの揺れを表す新しいジャイロデータ埋め込み方式を導入する。
最後に,ジャイロ画像の学習と評価のための合成データセットと実際のデータセットを提案する。
提案手法は, 誤ジャイロデータを有効利用することにより, 最先端の劣化品質を実現することを実証した。
関連論文リスト
- GS-Blur: A 3D Scene-Based Dataset for Realistic Image Deblurring [50.72230109855628]
本稿では,新しい手法を用いて合成されたリアルなぼやけた画像のデータセットであるGS-Blurを提案する。
まず,3Dガウス・スプレイティング(3DGS)を用いて多視点画像から3Dシーンを再構成し,ランダムに生成された運動軌跡に沿ってカメラビューを移動させてぼやけた画像を描画する。
GS-Blurの再構築に様々なカメラトラジェクトリを採用することで、我々のデータセットは現実的で多様な種類のぼかしを含み、現実世界のぼかしをうまく一般化する大規模なデータセットを提供する。
論文 参考訳（メタデータ） (2024-10-31T06:17:16Z) - Toward Efficient Visual Gyroscopes: Spherical Moments, Harmonics Filtering, and Masking Techniques for Spherical Camera Applications [83.8743080143778]
視覚ジャイロスコープは、画像を通してカメラの回転を推定する。
従来のRGBカメラに比べて視野が広い全方位カメラの統合は、より正確で堅牢な結果をもたらすことが証明されている。
本稿では,効率的なマルチマスク・フィルタ回転エステータと学習に基づく最適化を組み合わせた,新しい視覚ジャイロスコープを導入することで,これらの課題に対処する。
論文 参考訳（メタデータ） (2024-04-02T13:19:06Z) - GyroFlow+: Gyroscope-Guided Unsupervised Deep Homography and Optical
Flow Learning [43.87584329959394]
既存のホモグラフィーと光学フロー法は、挑戦的なシーンでは誤っている。
我々はジャイロスコープをホモグラフィと光フロー学習に融合させる教師なし学習手法を提案する。
本手法は,レギュラーシーンと挑戦シーンの両方において最先端の手法より優れる。
論文 参考訳（メタデータ） (2023-01-23T13:44:15Z) - MC-Blur: A Comprehensive Benchmark for Image Deblurring [127.6301230023318]
ほとんどの実世界の画像では、ブラーは動きやデフォーカスなど様々な要因によって引き起こされる。
我々は,MC-Blurと呼ばれる大規模マルチライク画像デブロアリングデータセットを新たに構築する。
MC-Blurデータセットに基づいて,異なるシナリオにおけるSOTA法の比較を行う。
論文 参考訳（メタデータ） (2021-12-01T02:10:42Z) - RSDet++: Point-based Modulated Loss for More Accurate Rotated Object
Detection [53.57176614020894]
我々は、回転感度誤差(RSE)として、5パラメータと8パラメータの回転物体検出法の両方における損失の不連続性を分類する。
問題を軽減するために新しい変調された回転損失を導入し、回転感度検出ネットワーク(RSDet)を提案する。
10ピクセル未満のオブジェクトに対する本手法の精度をさらに向上するため,新しいRSDet++を提案する。
論文 参考訳（メタデータ） (2021-09-24T11:57:53Z) - GyroFlow: Gyroscope-Guided Unsupervised Optical Flow Learning [12.320006863387757]
我々はジャイロスコープを光フロー学習に融合させる教師なし学習手法を提案する。
私たちの知る限りでは、これはジャイロスコープデータと画像コンテンツを光フロー学習に融合させた最初のディープラーニングベースのフレームワークです。
論文 参考訳（メタデータ） (2021-03-25T10:14:57Z) - DeepOIS: Gyroscope-Guided Deep Optical Image Stabilizer Compensation [26.551842125984397]
モバイルで撮影された画像はジャイロスコープセンサーを使ってアライメントすることができる。
光画像安定化装置(OIS)は、撮影中に画像を調整することで、この可能性を終わらせる。
我々は,OISカメラ上でジャイロスコープが画像アライメントに使用されるように,OISが引き起こす動きを補償するディープネットワークを提案する。
論文 参考訳（メタデータ） (2021-01-27T03:23:46Z) - Beyond Camera Motion Blur Removing: How to Handle Outliers in Deblurring [14.244661742557899]
シーンが飽和画素などの外れ値を持つ場合には、キャプチャされたぼやけた画像の復元がより困難になる。
まず,エッジ対応のスケール・リカレント・ネットワーク(EASRN)を提案する。
次に,トレーニングプロセスの監視とエッジ復元の制約を行うために,有能なエッジ検出ネットワークを提案する。
論文 参考訳（メタデータ） (2020-02-24T12:32:04Z) - Self-Supervised Linear Motion Deblurring [112.75317069916579]
深層畳み込みニューラルネットワークは、画像の劣化の最先端技術である。
本稿では,自己監督型動作遅延に対する識別可能なreblurモデルを提案する。
我々の実験は、自己監督された単一画像の劣化が本当に実現可能であることを実証した。
論文 参考訳（メタデータ） (2020-02-10T20:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。