論文の概要: Let's Enhance: A Deep Learning Approach to Extreme Deblurring of Text
Images
- arxiv url: http://arxiv.org/abs/2211.10103v1
- Date: Fri, 18 Nov 2022 09:06:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 14:44:46.011551
- Title: Let's Enhance: A Deep Learning Approach to Extreme Deblurring of Text
Images
- Title(参考訳): Let's Enhance: テキスト画像の極端破壊に対するディープラーニングアプローチ
- Authors: Theophil Trippe and Martin Genzel and Jan Macdonald and Maximilian
M\"arz
- Abstract要約: 本研究は,画像劣化の逆問題に対する,ディープラーニングに基づく新しいパイプラインを提案する。
私たちの結果は、最新の最先端のデブロワーリングアルゴリズムの限界を探求することを目的とした、先日のヘルシンキ・デブロワー・チャレンジ2021の勝利をベースとしています。
- 参考スコア(独自算出の注目度): 3.441021278275805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work presents a novel deep-learning-based pipeline for the inverse
problem of image deblurring, leveraging augmentation and pre-training with
synthetic data. Our results build on our winning submission to the recent
Helsinki Deblur Challenge 2021, whose goal was to explore the limits of
state-of-the-art deblurring algorithms in a real-world data setting. The task
of the challenge was to deblur out-of-focus images of random text, thereby in a
downstream task, maximizing an optical-character-recognition-based score
function. A key step of our solution is the data-driven estimation of the
physical forward model describing the blur process. This enables a stream of
synthetic data, generating pairs of ground-truth and blurry images on-the-fly,
which is used for an extensive augmentation of the small amount of challenge
data provided. The actual deblurring pipeline consists of an approximate
inversion of the radial lens distortion (determined by the estimated forward
model) and a U-Net architecture, which is trained end-to-end. Our algorithm was
the only one passing the hardest challenge level, achieving over 70% character
recognition accuracy. Our findings are well in line with the paradigm of
data-centric machine learning, and we demonstrate its effectiveness in the
context of inverse problems. Apart from a detailed presentation of our
methodology, we also analyze the importance of several design choices in a
series of ablation studies. The code of our challenge submission is available
under https://github.com/theophil-trippe/HDC_TUBerlin_version_1.
- Abstract(参考訳): 本研究は、画像劣化の逆問題に対する新しいディープラーニングベースのパイプラインを提案し、合成データによる強化と事前学習を活用する。
その結果,最近のhelsinki deblur challenge 2021において,最先端のデブラリングアルゴリズムの限界を実世界データセットで探索することを目的とした。
課題は、ランダムテキストの焦点外像を分離し、下流課題とし、光学的特徴認識に基づくスコア関数を最大化することであった。
私たちのソリューションの重要なステップは、ぼかしプロセスを記述する物理フォワードモデルのデータ駆動推定です。
これにより、提供される少量のチャレンジデータの広範囲な拡張に使用される、一対の地面とぼやけた画像をオンザフライで生成する合成データのストリームが可能になる。
実際のデブロアリングパイプラインは、ラジアルレンズ歪み(推定フォワードモデルによって決定される)の近似逆転と、エンドツーエンドにトレーニングされたU-Netアーキテクチャで構成されている。
我々のアルゴリズムは唯一の難題であり、70%以上の文字認識精度を達成した。
本研究は,データ中心機械学習のパラダイムとよく一致しており,逆問題の文脈での有効性を実証する。
本手法の詳細なプレゼンテーションとは別に,一連のアブレーション研究における設計選択の重要性も分析した。
チャレンジ提出のコードはhttps://github.com/theophil-trippe/HDC_TUBerlin_version_1で公開されています。
関連論文リスト
- SpikeReveal: Unlocking Temporal Sequences from Real Blurry Inputs with Spike Streams [44.02794438687478]
スパイクカメラは、動きの特徴を捉え、この不適切な問題を解くのに有効であることが証明されている。
既存の手法は教師付き学習パラダイムに陥り、現実のシナリオに適用した場合、顕著なパフォーマンス劣化に悩まされる。
本研究では,スパイク誘導動作の劣化に対する最初の自己教師型フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-14T15:29:09Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-07-31T10:22:33Z) - Minimizing the Accumulated Trajectory Error to Improve Dataset
Distillation [151.70234052015948]
本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。
合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。
本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
論文 参考訳(メタデータ) (2022-11-20T15:49:11Z) - Near-Exact Recovery for Tomographic Inverse Problems via Deep Learning [3.441021278275805]
本稿では,反復的なエンドツーエンドネットワーク方式により,数値的精度に近い再構成が可能となることを示す。
また、オープンアクセスの実世界のデータセットLoDoPaB CT上で、最先端のパフォーマンスを実証する。
論文 参考訳(メタデータ) (2022-06-14T10:06:41Z) - High-resolution Iterative Feedback Network for Camouflaged Object
Detection [128.893782016078]
カモフラージュされたオブジェクトを背景に視覚的に同化させることは、オブジェクト検出アルゴリズムにとって難しい。
エッジやバウンダリのぼやけた視界を生じさせる細部劣化を避けるために,高分解能テクスチャの詳細を抽出することを目的としている。
我々は,高解像度特徴量による低解像度表現を反復的フィードバック方式で洗練する新しいHitNetを提案する。
論文 参考訳(メタデータ) (2022-03-22T11:20:21Z) - Learning Co-segmentation by Segment Swapping for Retrieval and Discovery [67.6609943904996]
この研究の目的は、一対のイメージから視覚的に類似したパターンを効率的に識別することである。
画像中のオブジェクトセグメントを選択し、それを別の画像にコピーペーストすることで、合成トレーニングペアを生成する。
提案手法は,Brueghelデータセット上でのアートワークの詳細検索に対して,明確な改善をもたらすことを示す。
論文 参考訳(メタデータ) (2021-10-29T16:51:16Z) - SDWNet: A Straight Dilated Network with Wavelet Transformation for Image
Deblurring [23.86692375792203]
画像劣化は、ぼやけた画像から鋭い画像を復元することを目的としたコンピュータビジョンの問題である。
我々のモデルは拡張畳み込みを用いて空間分解能の高い大きな受容場を得ることができる。
本稿では,ウェーブレット変換を用いた新しいモジュールを提案する。
論文 参考訳(メタデータ) (2021-10-12T07:58:10Z) - DeFlow: Learning Complex Image Degradations from Unpaired Data with
Conditional Flows [145.83812019515818]
本論文では,不対データから画像劣化を学習するDeFlowを提案する。
共有フローデコーダネットワークの潜在空間における劣化過程をモデル化する。
共同画像復元と超解像におけるDeFlowの定式化を検証した。
論文 参考訳(メタデータ) (2021-01-14T18:58:01Z) - Phase Retrieval with Holography and Untrained Priors: Tackling the
Challenges of Low-Photon Nanoscale Imaging [7.984370990908576]
位相探索は、マグニチュードのみのフーリエ測定から信号を回復する逆問題である。
ナノスケールの課題に適応したホログラフィック位相検索のためのデータセットフリーなディープラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2020-12-14T10:15:07Z) - Combining Semantic Guidance and Deep Reinforcement Learning For
Generating Human Level Paintings [22.889059874754242]
脳卒中に基づく非フォトリアリスティック画像の生成は、コンピュータビジョンコミュニティにおいて重要な問題である。
従来の手法は、前景オブジェクトの位置、規模、正当性にほとんど変化のないデータセットに限られていた。
本研究では,1)前景と背景の筆画の区別を学習するための2段階の塗装手順を備えたセマンティック・ガイダンス・パイプラインを提案する。
論文 参考訳(メタデータ) (2020-11-25T09:00:04Z) - Self-Supervised Linear Motion Deblurring [112.75317069916579]
深層畳み込みニューラルネットワークは、画像の劣化の最先端技術である。
本稿では,自己監督型動作遅延に対する識別可能なreblurモデルを提案する。
我々の実験は、自己監督された単一画像の劣化が本当に実現可能であることを実証した。
論文 参考訳(メタデータ) (2020-02-10T20:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。