論文の概要: ParaColorizer: Realistic Image Colorization using Parallel Generative Networks

• arxiv url: http://arxiv.org/abs/2208.08295v1
• Date: Wed, 17 Aug 2022 13:49:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-18 13:03:36.269614
• Title: ParaColorizer: Realistic Image Colorization using Parallel Generative Networks
• Title（参考訳）: ParaColorizer:並列生成ネットワークを用いた実写画像のカラー化
• Authors: Himanshu Kumar, Abeer Banerjee, Sumeet Saurav, Sanjay Singh
• Abstract要約: グレースケール画像のカラー化は、情報復元のためのAIの魅力的な応用である。 並列なGANベースのカラー化フレームワークを提案する。 マルチモーダル問題を評価するために一般的に使用される非知覚的評価指標の欠点を示す。
• 参考スコア（独自算出の注目度）: 1.7778609937758327
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grayscale image colorization is a fascinating application of AI for information restoration. The inherently ill-posed nature of the problem makes it even more challenging since the outputs could be multi-modal. The learning-based methods currently in use produce acceptable results for straightforward cases but usually fail to restore the contextual information in the absence of clear figure-ground separation. Also, the images suffer from color bleeding and desaturated backgrounds since a single model trained on full image features is insufficient for learning the diverse data modes. To address these issues, we present a parallel GAN-based colorization framework. In our approach, each separately tailored GAN pipeline colorizes the foreground (using object-level features) or the background (using full-image features). The foreground pipeline employs a Residual-UNet with self-attention as its generator trained using the full-image features and the corresponding object-level features from the COCO dataset. The background pipeline relies on full-image features and additional training examples from the Places dataset. We design a DenseFuse-based fusion network to obtain the final colorized image by feature-based fusion of the parallelly generated outputs. We show the shortcomings of the non-perceptual evaluation metrics commonly used to assess multi-modal problems like image colorization and perform extensive performance evaluation of our framework using multiple perceptual metrics. Our approach outperforms most of the existing learning-based methods and produces results comparable to the state-of-the-art. Further, we performed a runtime analysis and obtained an average inference time of 24ms per image.
• Abstract（参考訳）: グレースケール画像のカラー化は、情報復元のためのAIの魅力的な応用である。 この問題の本質的に不適切な性質は、出力がマルチモーダルであるため、さらに難しい。 現在使われている学習ベースの手法は、単純なケースでは許容できる結果をもたらすが、明快な図形の分離がない場合、通常は文脈情報の復元に失敗する。 また、フルイメージの特徴を訓練した単一のモデルでは、多様なデータモードを学習できないため、画像は色出血や不飽和な背景に悩まされる。 これらの問題に対処するために、GANベースの並列カラー化フレームワークを提案する。 私たちのアプローチでは、それぞれのganパイプラインが前景(オブジェクトレベルの機能を使用)や背景(フルイメージ機能を使用)を色分けしています。 前景パイプラインでは、自己アテンションを備えたResidual-UNetが、そのジェネレータとして、フルイメージ機能と、COCOデータセットの対応するオブジェクトレベルの機能を使用してトレーニングされている。 バックグラウンドパイプラインは、Placesデータセットのフルイメージ機能と追加のトレーニング例に依存している。 並列出力の特徴量に基づく融合により最終的なカラー化画像を得るために, 高密度融合ネットワークを設計する。 画像のカラー化などのマルチモーダル問題評価に一般的に用いられる非知覚的評価指標の欠点を示し,複数の知覚的指標を用いたフレームワークの性能評価を行う。 本手法は既存の学習手法よりも優れ,最先端の手法に匹敵する結果が得られる。 さらに,実行時解析を行い,平均推定時間は画像当たり24msであった。

関連論文リスト

• Detecting Recolored Image by Spatial Correlation [60.08643417333974]
  画像のリカラー化は、画像の色値を操作して新しいスタイルを与える、新たな編集技術である。 本稿では,空間相関の観点から,従来型と深層学習による再色検出の汎用的検出能力を示す解を探索する。 提案手法は,複数のベンチマークデータセット上での最先端検出精度を実現し,未知の種類の再色法を適切に一般化する。
  論文  参考訳（メタデータ） (2022-04-23T01:54:06Z)
• Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
  本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。 我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。 提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-04-19T17:59:45Z)
• Astronomical Image Colorization and upscaling with Generative Adversarial Networks [0.0]
  本研究の目的は、非常に特定の画像領域、すなわち天文学的な画像に焦点をあてることにより、この問題に自動的アプローチを提供することである。 我々は、RGBとL*a*bという2つの異なる色空間における様々なモデルの使用について検討する。 このモデルは、画像に存在しない高解像度で色付けされたデータを幻覚させる視覚的に魅力的な画像を生成する。
  論文  参考訳（メタデータ） (2021-12-27T19:01:20Z)
• Palette: Image-to-Image Diffusion Models [50.268441533631176]
  我々は条件付き拡散モデルを用いた画像から画像への変換のためのシンプルで一般的なフレームワークであるPaletteを紹介する。 4つの困難な画像から画像への変換タスクにおいて、Paletteは強力なGANと回帰ベースラインを上回っている。 本稿では、FID、インセプションスコア、事前訓練されたResNet-50の分類精度、参照画像に対する知覚距離などのサンプル品質スコアについて報告する。
  論文  参考訳（メタデータ） (2021-11-10T17:49:29Z)
• Generating Compositional Color Representations from Text [3.141061579698638]
  画像検索エンジン上のユーザクエリのかなりの部分が(属性、オブジェクト)構造に従っているという事実に触発され、このような大局的な色プロファイルを生成する生成逆ネットワークを提案する。 コンポジションを学ぶためにパイプラインを設計します - 見た属性とオブジェクトを、目に見えないペアに組み合わせる機能です。
  論文  参考訳（メタデータ） (2021-09-22T01:37:13Z)
• TUCaN: Progressively Teaching Colourisation to Capsules [13.50327471049997]
  TUCaN(Tiny UCapsNet)という新しいダウンサンプリングアップサンプリングアーキテクチャを提案する。 我々は,色を量化空間内のビンとして識別するピクセルごとの色分類タスクとして,この問題に対処する。 ネットワークをトレーニングするために、標準的なエンドツーエンド学習法とは対照的に、オブジェクトのコンテキストを抽出するプログレッシブラーニング方式を提案する。
  論文  参考訳（メタデータ） (2021-06-29T08:44:15Z)
• Collaboration among Image and Object Level Features for Image Colourisation [25.60139324272782]
  画像のカラー化は不適切な問題であり、入力データムに存在するコンテキストとオブジェクトインスタンスに依存する複数の正しいソリューションがある。 従来のアプローチは、強力なユーザーインタラクションを必要とするか、画像レベル(コンテキスト)機能を学ぶために畳み込みニューラルネットワーク(CNN)の能力を利用して、この問題を攻撃しました。 コンボリューションによって得られる画像レベルの特徴とカプセルによってキャプチャされるオブジェクトレベルの特徴を分離する,UCapsNetという単一のネットワークを提案する。 そして,異なる層間の接続をスキップすることで,これらの分離要因間の協調を強制し,高品質で再現可能な画像彩色を実現する。
  論文  参考訳（メタデータ） (2021-01-19T11:48:12Z)
• Image Colorization: A Survey and Dataset [94.59768013860668]
  本稿では,最先端の深層学習に基づく画像着色技術に関する包括的調査を行う。 既存の着色技法を7つのクラスに分類し、その性能を規定する重要な要因について論じる。 我々は既存のデータセットと提案した画像の両方を用いて、既存の画像のカラー化手法を広範囲に実験的に評価する。
  論文  参考訳（メタデータ） (2020-08-25T01:22:52Z)
• Instance-aware Image Colorization [51.12040118366072]
  本稿では,インスタンス認識のカラー化を実現する手法を提案する。 我々のネットワークアーキテクチャは、市販のオブジェクト検出器を利用して、収穫されたオブジェクト画像を取得する。 類似したネットワークを用いて、フルイメージの特徴を抽出し、融合モジュールを適用して最終色を予測する。
  論文  参考訳（メタデータ） (2020-05-21T17:59:23Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。