論文の概要: TUCaN: Progressively Teaching Colourisation to Capsules

• arxiv url: http://arxiv.org/abs/2106.15176v1
• Date: Tue, 29 Jun 2021 08:44:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-30 15:38:55.704150
• Title: TUCaN: Progressively Teaching Colourisation to Capsules
• Title（参考訳）: TUCaN: カプセルに着色を積極的に教える
• Authors: Rita Pucci, Niki Martinel
• Abstract要約: TUCaN(Tiny UCapsNet)という新しいダウンサンプリングアップサンプリングアーキテクチャを提案する。 我々は,色を量化空間内のビンとして識別するピクセルごとの色分類タスクとして,この問題に対処する。 ネットワークをトレーニングするために、標準的なエンドツーエンド学習法とは対照的に、オブジェクトのコンテキストを抽出するプログレッシブラーニング方式を提案する。
• 参考スコア（独自算出の注目度）: 13.50327471049997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic image colourisation is the computer vision research path that studies how to colourise greyscale images (for restoration). Deep learning techniques improved image colourisation yielding astonishing results. These differ by various factors, such as structural differences, input types, user assistance, etc. Most of them, base the architectural structure on convolutional layers with no emphasis on layers specialised in object features extraction. We introduce a novel downsampling upsampling architecture named TUCaN (Tiny UCapsNet) that exploits the collaboration of convolutional layers and capsule layers to obtain a neat colourisation of entities present in every single image. This is obtained by enforcing collaboration among such layers by skip and residual connections. We pose the problem as a per pixel colour classification task that identifies colours as a bin in a quantized space. To train the network, in contrast with the standard end to end learning method, we propose the progressive learning scheme to extract the context of objects by only manipulating the learning process without changing the model. In this scheme, the upsampling starts from the reconstruction of low resolution images and progressively grows to high resolution images throughout the training phase. Experimental results on three benchmark datasets show that our approach with ImageNet10k dataset outperforms existing methods on standard quality metrics and achieves state of the art performances on image colourisation. We performed a user study to quantify the perceptual realism of the colourisation results demonstrating: that progressive learning let the TUCaN achieve better colours than the end to end scheme; and pointing out the limitations of the existing evaluation metrics.
• Abstract（参考訳）: オートマチック・イメージ・カラー化(Automatic Image Colorisation)は、グレースケール画像のカラー化方法を研究するコンピュータビジョン研究パスである。 深層学習技術は、驚くべき結果をもたらす画像のカラー化を改善した。 これらは、構造の違い、入力タイプ、ユーザアシストなど、さまざまな要因によって異なる。 その多くは、オブジェクトの特徴抽出に特化したレイヤに重点を置いていない、畳み込み層に基づくアーキテクチャ構造である。 本稿では,畳み込み層とカプセル層の協調を利用して,各画像に存在するエンティティの鮮やかな色分けを実現する,tucan (tiny ucapsnet) と呼ばれる新しいダウンサンプリングアップサンプリングアーキテクチャを提案する。 スキップと残差接続により、これらの層間の協調を強制することによって得られる。 我々は、色を量子化された空間内のビンとして識別するピクセルごとの色分類タスクとして問題を提起する。 ネットワークをトレーニングするために、標準のエンドツーエンド学習法とは対照的に、モデルを変更することなく学習プロセスを操作することで、オブジェクトのコンテキストを抽出するプログレッシブ学習方式を提案する。 このスキームでは、アップサンプリングは低解像度画像の再構成から始まり、トレーニングフェーズを通して徐々に高解像度画像へと成長する。 3つのベンチマークデータセットの実験的結果は、imagenet10kデータセットを用いたアプローチが、標準品質メトリクスの既存の手法を上回っており、画像のカラー化におけるアートパフォーマンスの状態を実現できることを示している。 そこで我々は,TUCaNがエンド・ツー・エンド・スキームよりも優れた色を達成できたこと,既存の評価指標の限界を指摘できること,を実証し,カラー化結果の知覚的リアリズムを定量化するためにユーザスタディを行った。

関連論文リスト

• Name Your Colour For the Task: Artificially Discover Colour Naming via Colour Quantisation Transformer [62.75343115345667]
  そこで本研究では,色空間を定量化しつつ,画像上での認識を維持しつつ,色空間を定量化する新しい色量子化変換器CQFormerを提案する。 人工色システムと人間の言語における基本色用語との一貫性のある進化パターンを観察する。 我々のカラー量子化法は、画像記憶を効果的に圧縮する効率的な量子化法も提供する。
  論文  参考訳（メタデータ） (2022-12-07T03:39:18Z)
• Exemplar-Based Image Colorization with A Learning Framework [7.793461393970992]
  学習フレームワークを用いた自動着色手法を提案する。 カラー化過程と学習過程を分離し、同一のグレー画像に対して様々なカラースタイルを生成する。 最先端のカラー化アルゴリズムに匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-09-13T07:15:25Z)
• ParaColorizer: Realistic Image Colorization using Parallel Generative Networks [1.7778609937758327]
  グレースケール画像のカラー化は、情報復元のためのAIの魅力的な応用である。 並列なGANベースのカラー化フレームワークを提案する。 マルチモーダル問題を評価するために一般的に使用される非知覚的評価指標の欠点を示す。
  論文  参考訳（メタデータ） (2022-08-17T13:49:44Z)
• Influence of Color Spaces for Deep Learning Image Colorization [2.3705923859070217]
  既存のカラー化手法は、RGB、YUV、Labなど、さまざまな色空間に依存している。 本章では,深層ニューラルネットワークのトレーニングによって得られる結果に対する影響について検討する。 RGB,YUV,Labの色空間と同一の深層ニューラルネットワークアーキテクチャを用いて得られた結果を比較した。
  論文  参考訳（メタデータ） (2022-04-06T14:14:07Z)
• Palette: Image-to-Image Diffusion Models [50.268441533631176]
  我々は条件付き拡散モデルを用いた画像から画像への変換のためのシンプルで一般的なフレームワークであるPaletteを紹介する。 4つの困難な画像から画像への変換タスクにおいて、Paletteは強力なGANと回帰ベースラインを上回っている。 本稿では、FID、インセプションスコア、事前訓練されたResNet-50の分類精度、参照画像に対する知覚距離などのサンプル品質スコアについて報告する。
  論文  参考訳（メタデータ） (2021-11-10T17:49:29Z)
• Collaboration among Image and Object Level Features for Image Colourisation [25.60139324272782]
  画像のカラー化は不適切な問題であり、入力データムに存在するコンテキストとオブジェクトインスタンスに依存する複数の正しいソリューションがある。 従来のアプローチは、強力なユーザーインタラクションを必要とするか、画像レベル(コンテキスト)機能を学ぶために畳み込みニューラルネットワーク(CNN)の能力を利用して、この問題を攻撃しました。 コンボリューションによって得られる画像レベルの特徴とカプセルによってキャプチャされるオブジェクトレベルの特徴を分離する,UCapsNetという単一のネットワークを提案する。 そして,異なる層間の接続をスキップすることで,これらの分離要因間の協調を強制し,高品質で再現可能な画像彩色を実現する。
  論文  参考訳（メタデータ） (2021-01-19T11:48:12Z)
• Image Colorization: A Survey and Dataset [78.89573261114428]
  本稿では,最先端の深層学習に基づく画像着色技術に関する包括的調査を行う。 既存の着色技法を7つのクラスに分類し、その性能を規定する重要な要因について論じる。 既存のデータセットと新しいデータセットを用いて、既存の画像のカラー化手法を広範囲に実験的に評価する。
  論文  参考訳（メタデータ） (2020-08-25T01:22:52Z)
• Instance-aware Image Colorization [51.12040118366072]
  本稿では,インスタンス認識のカラー化を実現する手法を提案する。 我々のネットワークアーキテクチャは、市販のオブジェクト検出器を利用して、収穫されたオブジェクト画像を取得する。 類似したネットワークを用いて、フルイメージの特徴を抽出し、融合モジュールを適用して最終色を予測する。
  論文  参考訳（メタデータ） (2020-05-21T17:59:23Z)
• Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
  コントラスト学習は教師なし表現学習に革命をもたらした。 現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。 本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T16:29:42Z)
• Learning to Structure an Image with Few Colors [59.34619548026885]
  そこで,カラー量子化ネットワークであるColorCNNを提案する。 1ビットのカラースペース(すなわち2色)だけで、提案されたネットワークはCIFAR10データセット上で82.1%のトップ-1の精度を達成した。 アプリケーションの場合、PNGでエンコードされた場合、提案したカラー量子化は、極低ビットレート方式の他の画像圧縮方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-17T17:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。