論文の概要: Deformation-Invariant Neural Network and Its Applications in Distorted
Image Restoration and Analysis
- arxiv url: http://arxiv.org/abs/2310.02641v2
- Date: Tue, 7 Nov 2023 17:11:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 19:08:29.560148
- Title: Deformation-Invariant Neural Network and Its Applications in Distorted
Image Restoration and Analysis
- Title（参考訳）: 変形不変ニューラルネットワークとその歪画像復元・解析への応用
- Authors: Han Zhang, Qiguang Chen, Lok Ming Lui
- Abstract要約: 幾何学的歪みによって劣化した画像は、画像や物体認識などのコンピュータビジョンタスクにおいて重要な課題となる。
ディープラーニングに基づく画像モデルは通常、幾何学的に歪んだ画像に対して正確な性能を与えることができない。
本稿では、幾何学的に歪んだ画像の撮像タスクに対処するフレームワークである変形不変ニューラルネットワーク(DINN)を提案する。
- 参考スコア（独自算出の注目度）: 8.009077765403287
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Images degraded by geometric distortions pose a significant challenge to
imaging and computer vision tasks such as object recognition. Deep
learning-based imaging models usually fail to give accurate performance for
geometrically distorted images. In this paper, we propose the
deformation-invariant neural network (DINN), a framework to address the problem
of imaging tasks for geometrically distorted images. The DINN outputs
consistent latent features for images that are geometrically distorted but
represent the same underlying object or scene. The idea of DINN is to
incorporate a simple component, called the quasiconformal transformer network
(QCTN), into other existing deep networks for imaging tasks. The QCTN is a deep
neural network that outputs a quasiconformal map, which can be used to
transform a geometrically distorted image into an improved version that is
closer to the distribution of natural or good images. It first outputs a
Beltrami coefficient, which measures the quasiconformality of the output
deformation map. By controlling the Beltrami coefficient, the local geometric
distortion under the quasiconformal mapping can be controlled. The QCTN is
lightweight and simple, which can be readily integrated into other existing
deep neural networks to enhance their performance. Leveraging our framework, we
have developed an image classification network that achieves accurate
classification of distorted images. Our proposed framework has been applied to
restore geometrically distorted images by atmospheric turbulence and water
turbulence. DINN outperforms existing GAN-based restoration methods under these
scenarios, demonstrating the effectiveness of the proposed framework.
Additionally, we apply our proposed framework to the 1-1 verification of human
face images under atmospheric turbulence and achieve satisfactory performance,
further demonstrating the efficacy of our approach.
- Abstract（参考訳）: 幾何学的歪みによって劣化した画像は、画像や物体認識などのコンピュータビジョンタスクにおいて重要な課題となる。
深層学習に基づく画像モデルは、通常、幾何学的に歪んだ画像に対して正確な性能を与えることができない。
本稿では、幾何学的に歪んだ画像の撮像課題に対処するフレームワークである変形不変ニューラルネットワーク(DINN)を提案する。
DINNは、幾何学的に歪んでいるが、同じ基礎となるオブジェクトやシーンを表す画像に対して一貫した遅延特徴を出力する。
DINNの考え方は、準コンフォーマルトランスフォーマーネットワーク(QCTN)と呼ばれる単純なコンポーネントを、イメージングタスクのために既存のディープネットワークに組み込むことである。
QCTNは準等角写像を出力するディープニューラルネットワークであり、幾何学的に歪んだ画像を自然な画像や良い画像の分布に近い改良版に変換するのに使用できる。
まず、出力変形写像の準共形性を測定するベルトラミ係数を出力する。
ベルトラミ係数を制御することにより、準共形写像下の局所幾何学的歪みを制御することができる。
QCTNは軽量でシンプルで、既存のディープニューラルネットワークと容易に統合してパフォーマンスを向上させることができる。
フレームワークを活用し,歪み画像の正確な分類を実現する画像分類ネットワークを開発した。
提案手法は, 大気乱流と水乱流による幾何歪み画像の復元に応用されている。
DINNはこれらのシナリオ下で既存のGANベースの復元手法より優れており、提案フレームワークの有効性を実証している。
さらに, 提案手法を大気乱流下での人間の顔画像の1-1検証に適用し, 良好な性能を実現し, 提案手法の有効性を実証する。
関連論文リスト
- Space-Variant Total Variation boosted by learning techniques in few-view tomographic imaging [0.0]
本稿では,未決定の線形逆問題に対する空間変動正規化モデルの開発に焦点をあてる。
提案モデルの主な目的は,ディノベーションと細部・縁の保存のバランスを良くすることである。
畳み込みニューラルネットワークは、トレーニングにおいて弾性損失関数を用いて、基底真理像とその勾配を近似するように設計されている。
論文 参考訳（メタデータ） (2024-04-25T08:58:41Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳（メタデータ） (2023-10-11T12:46:11Z) - RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline
Model and DoF-based Curriculum Learning [62.86400614141706]
我々はRecRecNet(Rectangling Rectification Network)という新しい学習モデルを提案する。
我々のモデルは、ソース構造をターゲット領域に柔軟にワープし、エンドツーエンドの非教師なし変形を実現する。
実験により, 定量評価と定性評価の両面において, 比較法よりも解法の方が優れていることが示された。
論文 参考訳（メタデータ） (2023-01-04T15:12:57Z) - One-Stage Deep Edge Detection Based on Dense-Scale Feature Fusion and
Pixel-Level Imbalance Learning [5.370848116287344]
後処理なしで高品質なエッジ画像を生成することができる一段階ニューラルネットワークモデルを提案する。
提案モデルでは、トレーニング済みのニューラルモデルをエンコーダとして使用する古典的なエンコーダデコーダフレームワークを採用している。
本稿では,エッジ画像の画素レベルの不均衡に対処する新たな損失関数を提案する。
論文 参考訳（メタデータ） (2022-03-17T15:26:00Z) - Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。
本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
論文 参考訳（メタデータ） (2021-08-19T11:02:25Z) - Uncalibrated Neural Inverse Rendering for Photometric Stereo of General
Surfaces [103.08512487830669]
本稿では,測光ステレオ問題に対する無補間深層ニューラルネットワークフレームワークを提案する。
既存のニューラルネットワークベースの方法は、物体の正確な光方向または接地正則のいずれかまたは両方を必要とします。
本稿では,この問題に対する未調整の神経逆レンダリング手法を提案する。
論文 参考訳（メタデータ） (2020-12-12T10:33:08Z) - Generative and Discriminative Learning for Distorted Image Restoration [22.230017059874445]
Liquifyは、画像の歪みに使用できる画像編集のテクニックである。
本稿では,深層ニューラルネットワークに基づく新しい生成的・識別的学習手法を提案する。
論文 参考訳（メタデータ） (2020-11-11T14:01:29Z) - Category Level Object Pose Estimation via Neural Analysis-by-Synthesis [64.14028598360741]
本稿では、勾配に基づくフィッティング法とパラメトリックニューラルネットワーク合成モジュールを組み合わせる。
画像合成ネットワークは、ポーズ設定空間を効率的に分散するように設計されている。
本研究では,2次元画像のみから高精度に物体の向きを復元できることを実験的に示す。
論文 参考訳（メタデータ） (2020-08-18T20:30:47Z) - Learning to Restore a Single Face Image Degraded by Atmospheric
Turbulence using CNNs [93.72048616001064]
このような条件下で撮影された画像は、幾何学的変形と空間のぼかしの組合せに悩まされる。
乱流劣化顔画像の復元問題に対する深層学習に基づく解法を提案する。
論文 参考訳（メタデータ） (2020-07-16T15:25:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。