論文の概要: A Differentiable Two-stage Alignment Scheme for Burst Image
Reconstruction with Large Shift
- arxiv url: http://arxiv.org/abs/2203.09294v1
- Date: Thu, 17 Mar 2022 12:55:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-18 15:26:26.832007
- Title: A Differentiable Two-stage Alignment Scheme for Burst Image
Reconstruction with Large Shift
- Title（参考訳）: 大シフトバースト画像再構成のための2段階アライメント法
- Authors: Shi Guo, Xi Yang, Jianqi Ma, Gaofeng Ren, Lei Zhang
- Abstract要約: バースト画像、すなわちJDD-Bのための共同デノジングとデモサック(JDD)が注目されている。
JDD-Bの重要な課題は、画像フレームのロバストなアライメントにある。
本稿では, JDD-B を効果的に活用するための2段階アライメント方式を提案する。
- 参考スコア（独自算出の注目度）: 13.454711511086261
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Denoising and demosaicking are two essential steps to reconstruct a clean
full-color image from the raw data. Recently, joint denoising and demosaicking
(JDD) for burst images, namely JDD-B, has attracted much attention by using
multiple raw images captured in a short time to reconstruct a single
high-quality image. One key challenge of JDD-B lies in the robust alignment of
image frames. State-of-the-art alignment methods in feature domain cannot
effectively utilize the temporal information of burst images, where large
shifts commonly exist due to camera and object motion. In addition, the higher
resolution (e.g., 4K) of modern imaging devices results in larger displacement
between frames. To address these challenges, we design a differentiable
two-stage alignment scheme sequentially in patch and pixel level for effective
JDD-B. The input burst images are firstly aligned in the patch level by using a
differentiable progressive block matching method, which can estimate the offset
between distant frames with small computational cost. Then we perform implicit
pixel-wise alignment in full-resolution feature domain to refine the alignment
results. The two stages are jointly trained in an end-to-end manner. Extensive
experiments demonstrate the significant improvement of our method over existing
JDD-B methods. Codes are available at https://github.com/GuoShi28/2StageAlign.
- Abstract（参考訳）: denoisingとdemosaickingは、生データからクリーンなフルカラー画像を再構築するための2つの重要なステップだ。
近年,バースト画像に対するjdd(joint denoising and demosaicking)とjdd-b(joint denoising and demosaicking)の併用が注目されている。
JDD-Bの重要な課題は、画像フレームのロバストなアライメントにある。
特徴領域における最先端アライメント手法は、カメラや物体の動きによる大きなシフトが存在するバースト画像の時間的情報を有効に利用できない。
さらに、現代の撮像装置の高分解能(例えば4k)はフレーム間の変位を増大させる。
これらの課題に対処するため、有効なJDD-Bのための2段階アライメント方式をパッチレベルとピクセルレベルで逐次設計する。
入力バースト画像は、遠隔フレーム間のオフセットを少ない計算コストで推定できる微分可能なプログレッシブブロックマッチング法を用いて、最初にパッチレベルでアライメントされる。
そして、全解像度特徴領域で暗黙的な画素ワイドアライメントを行い、アライメント結果を洗練する。
2つの段階はエンドツーエンドで共同で訓練される。
実験により既存のJDD-B法よりも大幅に改善した。
コードはhttps://github.com/GuoShi28/2StageAlignで入手できる。
関連論文リスト
- Multi-Sensor Diffusion-Driven Optical Image Translation for Large-Scale Applications [3.4085512042262374]
本稿では,大規模な低空間分解能画像を,異なる光学センサから高分解能に高分解能に分解する手法を提案する。
我々の貢献は、大規模な画像翻訳の課題に対処するために欠かせない新しい前方および逆拡散過程にある。
その結果、一貫したパッチを持つ高解像度の大規模画像となり、異種変化検出などのアプリケーションに不可欠である。
論文 参考訳（メタデータ） (2024-04-17T10:49:00Z) - Deep Linear Array Pushbroom Image Restoration: A Degradation Pipeline
and Jitter-Aware Restoration Network [26.86292926584254]
リニアアレイプッシュブルーム(LAP)イメージング技術はリモートセンシングの領域で広く利用されている。
点拡散関数(PSF)を推定するアルゴリズムなど、従来のLAP画像の復元手法は、限られた性能を示す。
本稿では,2段階の歪みとぼかしを除去するjitter-Aware Restoration Network (JARNet)を提案する。
論文 参考訳（メタデータ） (2024-01-16T07:26:26Z) - Video Frame Interpolation with Many-to-many Splatting and Spatial
Selective Refinement [83.60486465697318]
本稿では,フレームを効率的に補間するM2Mスプレイティングフレームワークを提案する。
入力フレームペアごとに、M2Mは任意の数のフレーム間を補間する際の計算オーバーヘッドが極小である。
フレキシブルな空間選択リファインメント(Spatial Selective Refinement)コンポーネントを導入して,M2M++フレームワークを拡張した。
論文 参考訳（メタデータ） (2023-10-29T09:09:32Z) - Any-Size-Diffusion: Toward Efficient Text-Driven Synthesis for Any-Size
HD Images [56.17404812357676]
テキストと画像の合成に使用される生成モデルである安定拡散は、様々なサイズの画像を生成する際にしばしば構成問題に遭遇する。
そこで我々は,任意の大きさの画像を効率よく生成するために,Any-Size-Diffusion (ASD) という2段階のパイプラインを提案する。
ASDは任意のサイズの画像を生成することができ、従来のタイル付きアルゴリズムと比較して推論時間を2倍削減できることを示す。
論文 参考訳（メタデータ） (2023-08-31T09:27:56Z) - Improving Misaligned Multi-modality Image Fusion with One-stage
Progressive Dense Registration [67.23451452670282]
多モード画像間の相違は、画像融合の課題を引き起こす。
マルチスケールプログレッシブ・センス・レジストレーション方式を提案する。
このスキームは、一段階最適化のみで粗大な登録を行う。
論文 参考訳（メタデータ） (2023-08-22T03:46:24Z) - Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter
Correction [54.00007868515432]
既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。
本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。
提案手法は,Carla-RS,Fastec-RS,BS-RSCの各データセット上で,PSNRの+4.98,+0.77,+4.33を超える。
論文 参考訳（メタデータ） (2023-03-31T15:09:18Z) - Learning Single Image Defocus Deblurring with Misaligned Training Pairs [80.13320797431487]
単一画像デフォーカスデブロリングのための連成デブロアリングおよびリブロアリング学習フレームワークを提案する。
我々のフレームワークは、定量的メトリクスと視覚的品質の両方の観点から、デフォーカスデブロワーリングネットワークを向上するために適用することができる。
論文 参考訳（メタデータ） (2022-11-26T07:36:33Z) - Cross-Camera Deep Colorization [10.254243409261898]
本稿では,カラープラスモノデュアルカメラシステムからの画像の整列と融合を行う,エンドツーエンドの畳み込みニューラルネットワークを提案する。
提案手法は,約10dBPSNRゲインの大幅な改善を継続的に達成する。
論文 参考訳（メタデータ） (2022-08-26T11:02:14Z) - Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。
我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
論文 参考訳（メタデータ） (2022-03-12T14:57:49Z) - Progressive and Selective Fusion Network for High Dynamic Range Imaging [28.639647755164916]
本稿では,LDR画像からシーンのHDR画像を生成する問題について考察する。
近年の研究では、ディープラーニングを採用し、エンドツーエンドで問題を解決することで、大幅なパフォーマンス向上を実現している。
本稿では,2つのアイデアに基づいて特徴を融合させる新しい手法を提案する。1つは多段階の特徴融合であり,我々のネットワークは同じ構造を持つブロックのスタックに徐々に特徴を融合させる。
論文 参考訳（メタデータ） (2021-08-19T09:42:03Z) - A Novel Inspection System For Variable Data Printing Using Deep Learning [0.9176056742068814]
超低偽アラームレート(0.005%)で可変データプリント(VDP)を検査するための新しい手法を提案する。
このシステムは、参照画像と低コストスキャナーによってキャプチャされた画像の2つの画像の比較に基づいている。
論文 参考訳（メタデータ） (2020-01-13T15:07:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。