論文の概要: Recursive Self-Improvement for Camera Image and Signal Processing Pipeline

• arxiv url: http://arxiv.org/abs/2111.07499v1
• Date: Mon, 15 Nov 2021 02:23:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-16 16:17:13.917226
• Title: Recursive Self-Improvement for Camera Image and Signal Processing Pipeline
• Title（参考訳）: カメラ画像と信号処理パイプラインに対する再帰的自己改善
• Authors: Chandrajit Bajaj and Yi Wang and Yunhao Yang and Yuhan Zheng
• Abstract要約: 現在のカメラ画像と信号処理パイプライン(ISP)は、画像全体に一様に適用される単一のフィルタを適用する傾向がある。 これは、ほとんどの取得したカメラ画像が空間的に異質なアーティファクトを持っているにもかかわらずである。 学習された潜在部分空間で動作する深層強化学習モデルを提案する。
• 参考スコア（独自算出の注目度）: 6.318974730864278
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Current camera image and signal processing pipelines (ISPs), including deep trained versions, tend to apply a single filter that is uniformly applied to the entire image. This despite the fact that most acquired camera images have spatially heterogeneous artifacts. This spatial heterogeneity manifests itself across the image space as varied Moire ringing, motion-blur, color-bleaching or lens based projection distortions. Moreover, combinations of these image artifacts can be present in small or large pixel neighborhoods, within an acquired image. Here, we present a deep reinforcement learning model that works in learned latent subspaces, recursively improves camera image quality through a patch-based spatially adaptive artifact filtering and image enhancement. Our RSE-RL model views the identification and correction of artifacts as a recursive self-learning and self-improvement exercise and consists of two major sub-modules: (i) The latent feature sub-space clustering/grouping obtained through an equivariant variational auto-encoder enabling rapid identification of the correspondence and discrepancy between noisy and clean image patches. (ii) The adaptive learned transformation controlled by a trust-region soft actor-critic agent that progressively filters and enhances the noisy patches using its closest feature distance neighbors of clean patches. Artificial artifacts that may be introduced in a patch-based ISP, are also removed through a reward based de-blocking recovery and image enhancement. We demonstrate the self-improvement feature of our model by recursively training and testing on images, wherein the enhanced images resulting from each epoch provide a natural data augmentation and robustness to the RSE-RL training-filtering pipeline.
• Abstract（参考訳）: 現在のカメラ画像および信号処理パイプライン(isp)は、深く訓練されたバージョンを含むが、画像全体に均一に適用される単一のフィルタを適用する傾向がある。 これは、ほとんどのカメラ画像が空間的に異質なアーティファクトを持っているにもかかわらずである。 この空間的不均一性は、様々なモアレリング、動きブレア、カラーブレッシング、レンズベースの投影歪みとして画像空間全体に現れる。 さらに、これらの画像アーティファクトの組み合わせは、取得した画像内の小さなピクセルまたは大きなピクセル近傍に存在することができる。 本稿では,学習可能な潜在部分空間で動作する深層強化学習モデルを提案し,パッチに基づく空間適応型アーティファクトフィルタリングと画像強調により,カメラの画質を再帰的に改善する。 我々のRSE-RLモデルは、アーティファクトの同定と修正を再帰的な自己学習と自己改善のエクササイズと見なしており、2つの主要なサブモジュールから構成されている。 i)同変変分自動エンコーダを用いて、ノイズとクリーンな画像パッチ間の対応と不一致を迅速に識別できる潜在特徴サブスペースクラスタリング/グループ化。 (ii)クリーンパッチの最も近い特徴距離の近傍を用いて、徐々にノイズパッチをフィルタリングし、強化する信頼区間ソフトアクタ-クリティックエージェントによって制御される適応学習変換。 パッチベースのISPで導入される人工的なアーティファクトは、報酬ベースのデブロッキングリカバリとイメージ拡張によって取り除かれる。 本稿では,RSE-RLトレーニングフィルタリングパイプラインに対して,各エポックから得られた強調画像が自然なデータ拡張とロバスト性を提供する,画像の再帰的トレーニングとテストによる自己改善機能を示す。

関連論文リスト

• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Pixel-Inconsistency Modeling for Image Manipulation Localization [59.968362815126326]
  デジタル画像法医学は、画像認証と操作のローカライゼーションにおいて重要な役割を果たす。 本稿では,画素不整合アーチファクトの解析を通じて,一般化されたロバストな操作ローカライゼーションモデルを提案する。 実験により,本手法は固有の画素不整合偽指紋を抽出することに成功した。
  論文  参考訳（メタデータ） (2023-09-30T02:54:51Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Pixel-Aware Stable Diffusion for Realistic Image Super-resolution and Personalized Stylization [23.723573179119228]
  本稿では,高機能なReal-ISRとパーソナライズされた画像スタイリングを実現するために,画素対応安定拡散(PASD)ネットワークを提案する。 画素単位の画像局所構造を知覚する拡散モデルを実現するために、画素対応クロスアテンションモジュールを導入する。 補正可能なノイズスケジュールを導入し、画像復元結果をさらに改善する。
  論文  参考訳（メタデータ） (2023-08-28T10:15:57Z)
• Super-Resolution of License Plate Images Using Attention Modules and Sub-Pixel Convolution Layers [3.8831062015253055]
  監視画像における構造的特徴およびテクスチャ的特徴の検出を強化するために,Single-Image Super-Resolution (SISR) アプローチを導入する。 提案手法は,サブピクセルの畳み込み層と,光学的文字認識(OCR)モデルを用いて特徴抽出を行うロス関数を含む。 以上の結果から, これらの低解像度合成画像の再構成手法は, 定量化と定性化の両面で, 既存の画像よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-05-27T00:17:19Z)
• Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
  空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。 本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
  論文  参考訳（メタデータ） (2021-08-19T11:02:25Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)
• Deep Contrastive Patch-Based Subspace Learning for Camera Image Signal Processing [5.678834480723395]
  我々は、カメラISPを改良し、異質なアーティファクトに対して堅牢なパッチベースのローカルサブスペースディープニューラルネットワークを提案する。 Patch Subspace Learning Autoencoder (PSL-AE) と呼ぶ。 PSL-AEは、コントラスト学習によって、異なるアーティファクトタイプや歪みレベルを持つ、ノイズの多い第2クリーンイメージペアから抽出されたパッチを符号化する。
  論文  参考訳（メタデータ） (2021-04-01T04:40:22Z)
• SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses [82.56853587380168]
  本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。 我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。 本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-30T08:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。