論文の概要: Attention-based Stylisation for Exemplar Image Colourisation

• arxiv url: http://arxiv.org/abs/2105.01705v1
• Date: Tue, 4 May 2021 18:56:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-06 12:52:44.974916
• Title: Attention-based Stylisation for Exemplar Image Colourisation
• Title（参考訳）: 注意に基づく画像彩色のためのアテンションベーススタイリゼーション
• Authors: Marc Gorriz Blanch, Issa Khalifeh, Alan Smeaton, Noel O'Connor, Marta Mrak
• Abstract要約: この研究は、新しいエンドツーエンドカラーネットワークを導入する既存の方法論を改革する。 提案アーキテクチャでは,異なる解像度でアテンションモジュールを統合し,スタイル転送タスクの実行方法を学ぶ。 提案手法の有効性を実験的に検証し,高品質で視覚に訴える色彩を呈する手法を提案する。
• 参考スコア（独自算出の注目度）: 3.491870689686827
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Exemplar-based colourisation aims to add plausible colours to a grayscale image using the guidance of a colour reference image. Most of the existing methods tackle the task as a style transfer problem, using a convolutional neural network (CNN) to obtain deep representations of the content of both inputs. Stylised outputs are then obtained by computing similarities between both feature representations in order to transfer the style of the reference to the content of the target input. However, in order to gain robustness towards dissimilar references, the stylised outputs need to be refined with a second colourisation network, which significantly increases the overall system complexity. This work reformulates the existing methodology introducing a novel end-to-end colourisation network that unifies the feature matching with the colourisation process. The proposed architecture integrates attention modules at different resolutions that learn how to perform the style transfer task in an unsupervised way towards decoding realistic colour predictions. Moreover, axial attention is proposed to simplify the attention operations and to obtain a fast but robust cost-effective architecture. Experimental validations demonstrate efficiency of the proposed methodology which generates high quality and visual appealing colourisation. Furthermore, the complexity of the proposed methodology is reduced compared to the state-of-the-art methods.
• Abstract（参考訳）: Exemplar-based Colorisationは、カラー参照画像のガイダンスを用いて、グレースケール画像に可塑性色を追加することを目的としている。 既存の手法の多くは、畳み込みニューラルネットワーク(CNN)を用いて、両方の入力の内容の深い表現を得るという、スタイル伝達問題としてタスクに取り組む。 次に、2つの特徴表現間の類似性を計算し、参照のスタイルを対象入力の内容に転送することでスタイリッシュ出力を得る。 しかし、異なる参照に対する堅牢性を得るためには、スタイリッシュな出力を第2のカラー化ネットワークで洗練する必要があるため、システム全体の複雑さが著しく増大する。 本研究は、新しいエンドツーエンドのカラー化ネットワークを導入し、色付けプロセスに適合する特徴を統一する既存の方法論を再構築する。 提案アーキテクチャは,現実的な色予測を復号化するための教師なしの方法でスタイル伝達タスクの実行方法を学ぶ,異なる解像度で注目モジュールを統合する。 さらに、注意操作を簡素化し、高速かつ堅牢なコスト効率アーキテクチャを実現するため、軸方向の注意を提案する。 提案手法の有効性を実験的に検証し,高品質で視覚に訴える色彩を呈する手法を提案する。 さらに,提案手法の複雑さを最先端手法と比較して低減する。

関連論文リスト

• Transforming Color: A Novel Image Colorization Method [8.041659727964305]
  本稿では,色変換器とGANを用いた画像カラー化手法を提案する。 提案手法は,グローバルな情報を取得するためのトランスフォーマーアーキテクチャと,視覚的品質を改善するためのGANフレームワークを統合する。 実験の結果,提案するネットワークは,他の最先端のカラー化技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-07T07:23:42Z)
• MRStyle: A Unified Framework for Color Style Transfer with Multi-Modality Reference [32.64957647390327]
  MRStyleは、画像やテキストを含む多モード参照を用いたカラースタイルの転送を可能にするフレームワークである。 テキスト参照では、安定拡散前のテキスト特徴とIRStyleのスタイル特徴とを一致させて、テキスト誘導カラースタイル転送(TRStyle)を行う。 我々のTRStyle法はトレーニングと推論の両方において極めて効率的であり、オープンセットのテキスト誘導転送結果を生成する。
  論文  参考訳（メタデータ） (2024-09-09T00:01:48Z)
• ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
  本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。 本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
  論文  参考訳（メタデータ） (2024-08-10T08:53:41Z)
• Diffusing Colors: Image Colorization with Text Guided Diffusion [11.727899027933466]
  粒状テキストプロンプトを用いた画像拡散技術を利用した新しい画像カラー化フレームワークを提案する。 本手法は,視覚的品質とセマンティック・コヒーレンスの観点から,既存の技術よりも優れた自動化と制御のバランスを与える。 我々のアプローチは、特に色強調と歴史的イメージのカラー化の可能性を秘めている。
  論文  参考訳（メタデータ） (2023-12-07T08:59:20Z)
• Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
  本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。 視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。 本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
  論文  参考訳（メタデータ） (2023-11-30T10:36:19Z)
• A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive Learning [84.8813842101747]
  Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。 入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。 本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-03-09T04:35:00Z)
• Semantic-Sparse Colorization Network for Deep Exemplar-based Colorization [23.301799487207035]
  模範的なカラー化アプローチは、対象のグレースケール画像に対して可視色を提供するために、参照画像に依存する。 本研究では,グローバルな画像スタイルとセマンティックな色の両方をグレースケールに転送するセマンティック・スパースカラー化ネットワーク(SSCN)を提案する。 我々のネットワークは、あいまいなマッチング問題を緩和しつつ、グローバルカラーとローカルカラーのバランスを完全にとることができる。
  論文  参考訳（メタデータ） (2021-12-02T15:35:10Z)
• TUCaN: Progressively Teaching Colourisation to Capsules [13.50327471049997]
  TUCaN(Tiny UCapsNet)という新しいダウンサンプリングアップサンプリングアーキテクチャを提案する。 我々は,色を量化空間内のビンとして識別するピクセルごとの色分類タスクとして,この問題に対処する。 ネットワークをトレーニングするために、標準的なエンドツーエンド学習法とは対照的に、オブジェクトのコンテキストを抽出するプログレッシブラーニング方式を提案する。
  論文  参考訳（メタデータ） (2021-06-29T08:44:15Z)
• Semantic Layout Manipulation with High-Resolution Sparse Attention [106.59650698907953]
  本稿では,意味ラベルマップを編集して入力画像を操作するセマンティックイメージレイアウト操作の課題に対処する。 このタスクの中核的な問題は、視覚的にイメージを現実的にしながら、入力画像から新しいセマンティックレイアウトに視覚的な詳細を転送する方法です。 512×512の解像度で視覚的詳細を新しいレイアウトに効果的に転送する高分解能スパースアテンションモジュールを提案する。
  論文  参考訳（メタデータ） (2020-12-14T06:50:43Z)
• Interpretable Detail-Fidelity Attention Network for Single Image Super-Resolution [89.1947690981471]
  本研究では,スムースとディテールを段階的に分割・収束的に処理する,目的・解釈可能なディテール・ファイダリティ・アテンション・ネットワークを提案する。 特に,詳細推論において顕著な解釈可能な特徴表現のためのヘシアンフィルタを提案する。 実験により,提案手法は最先端手法よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2020-09-28T08:31:23Z)
• TSIT: A Simple and Versatile Framework for Image-to-Image Translation [103.92203013154403]
  画像間翻訳のためのシンプルで多用途なフレームワークを提案する。 新たに提案した特徴変換を用いた2ストリーム生成モデルを提案する。 これにより、マルチスケールのセマンティック構造情報とスタイル表現を効果的に捕捉し、ネットワークに融合させることができる。 体系的な研究は、提案手法をいくつかの最先端タスク固有のベースラインと比較し、知覚的品質と定量的評価の両面での有効性を検証する。
  論文  参考訳（メタデータ） (2020-07-23T15:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。