論文の概要: iColoriT: Towards Propagating Local Hint to the Right Region in
Interactive Colorization by Leveraging Vision Transformer
- arxiv url: http://arxiv.org/abs/2207.06831v1
- Date: Thu, 14 Jul 2022 11:40:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-15 20:46:59.604747
- Title: iColoriT: Towards Propagating Local Hint to the Right Region in
Interactive Colorization by Leveraging Vision Transformer
- Title（参考訳）: iColoriT:視覚変換器を応用したインタラクティブカラー化における局所ヒントの右領域への伝播
- Authors: Sanghyeon Lee, Jooyeol Yun, Minho Park
- Abstract要約: iColoriT は,ユーザヒントを関連領域に伝達する新しい点対話型カラー化視覚変換器である。
提案手法は,デコーダアーキテクチャを置き換える効率的なアップサンプリング技術であるピクセルシャッフルを利用して,リアルタイムに画像のカラー化を行う。
- 参考スコア（独自算出の注目度）: 4.6193503399184275
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Point-interactive image colorization aims to colorize grayscale images when a
user provides the colors for specific locations. It is essential for
point-interactive colorization methods to appropriately propagate user-provided
colors (i.e., user hints) in the entire image to obtain a reasonably colorized
image with minimal user effort. However, existing approaches often produce
partially colorized results due to the inefficient design of stacking
convolutional layers to propagate hints to distant relevant regions. To address
this problem, we present iColoriT, a novel point-interactive colorization
Vision Transformer capable of propagating user hints to relevant regions,
leveraging the global receptive field of Transformers. The self-attention
mechanism of Transformers enables iColoriT to selectively colorize relevant
regions with only a few local hints. Our approach colorizes images in real-time
by utilizing pixel shuffling, an efficient upsampling technique that replaces
the decoder architecture. Also, in order to mitigate the artifacts caused by
pixel shuffling with large upsampling ratios, we present the local stabilizing
layer. Extensive quantitative and qualitative results demonstrate that our
approach highly outperforms existing methods for point-interactive
colorization, producing accurately colorized images with a user's minimal
effort.
- Abstract（参考訳）: Point-Interactive Image Colorizationは、ユーザが特定の場所に色を提供するときのグレースケールイメージのカラー化を目的としている。
ポイントインタラクティブなカラー化手法は、画像全体にユーザが提供する色(すなわちユーザヒント)を適切に伝播させ、ユーザを最小限の労力で適度にカラー化画像を得るのに不可欠である。
しかし、既存のアプローチは、遠方の関連領域にヒントを伝達するために畳み込み層を積み重ねる非効率な設計のため、部分的に着色された結果をもたらすことが多い。
この問題に対処するため,iColoriTは,ユーザヒントを関連領域に伝達し,トランスフォーマーのグローバルな受容領域を活用可能な,新しい点対話型カラー化ビジョントランスフォーマである。
変圧器の自己着脱機構により、icoloritはいくつかの局所的なヒントだけで関連領域を選択的に着色することができる。
提案手法は,デコーダアーキテクチャに取って代わる効率的なアップサンプリング手法であるpixel shufflingを用いて,画像をリアルタイムに着色する。
また, 画素シャッフルによるアーチファクトのアップサンプリング率の増大を緩和するため, 局所安定化層を提案する。
定量的および定性的な結果から,本手法は既存の点間カラー化手法よりも高い性能を示し,ユーザの最小限の努力で正確な色付け画像を生成する。
関連論文リスト
- Paint Bucket Colorization Using Anime Character Color Design Sheets [72.66788521378864]
ネットワークがセグメント間の関係を理解することができる包摂的マッチングを導入する。
ネットワークのトレーニングパイプラインは、カラー化と連続フレームカラー化の両方のパフォーマンスを著しく向上させる。
ネットワークのトレーニングをサポートするために、PaintBucket-Characterというユニークなデータセットを開発しました。
論文 参考訳（メタデータ） (2024-10-25T09:33:27Z) - Transforming Color: A Novel Image Colorization Method [8.041659727964305]
本稿では,色変換器とGANを用いた画像カラー化手法を提案する。
提案手法は,グローバルな情報を取得するためのトランスフォーマーアーキテクチャと,視覚的品質を改善するためのGANフレームワークを統合する。
実験の結果,提案するネットワークは,他の最先端のカラー化技術よりも優れていた。
論文 参考訳（メタデータ） (2024-10-07T07:23:42Z) - Palette-based Color Transfer between Images [9.471264982229508]
そこで我々は,新しいカラースキームを自動生成できるパレットベースのカラートランスファー手法を提案する。
再設計されたパレットベースのクラスタリング手法により、色分布に応じて画素を異なるセグメントに分類することができる。
本手法は, 自然リアリズム, 色整合性, 一般性, 堅牢性の観点から, ピア法に対して有意な優位性を示す。
論文 参考訳（メタデータ） (2024-05-14T01:41:19Z) - Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。
ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。
また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
論文 参考訳（メタデータ） (2024-02-16T17:51:13Z) - BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature
Fusion for Deep Exemplar-based Video Colorization [70.14893481468525]
本稿では,参照例の色を探索し,映像のカラー化を支援するために有効なBiSTNetを提案する。
まず、各フレームと参照例間の深い特徴空間における意味的対応を確立し、参照例からの色情報を探究する。
我々は,フレームのオブジェクト境界をモデル化するための意味情報を抽出する混合専門家ブロックを開発した。
論文 参考訳（メタデータ） (2022-12-05T13:47:15Z) - Guiding Users to Where to Give Color Hints for Efficient Interactive
Sketch Colorization via Unsupervised Region Prioritization [31.750591990768307]
本稿では,ユーザインタラクションの必要量を削減するモデル誘導型ディープインタラクティブカラー化フレームワークを提案する。
GuidingPainterと呼ばれるこの手法は、モデルが最も色ヒントを必要とする領域を優先します。
論文 参考訳（メタデータ） (2022-10-25T18:50:09Z) - Detecting Recolored Image by Spatial Correlation [60.08643417333974]
画像のリカラー化は、画像の色値を操作して新しいスタイルを与える、新たな編集技術である。
本稿では,空間相関の観点から,従来型と深層学習による再色検出の汎用的検出能力を示す解を探索する。
提案手法は,複数のベンチマークデータセット上での最先端検出精度を実現し,未知の種類の再色法を適切に一般化する。
論文 参考訳（メタデータ） (2022-04-23T01:54:06Z) - Instance-aware Image Colorization [51.12040118366072]
本稿では,インスタンス認識のカラー化を実現する手法を提案する。
我々のネットワークアーキテクチャは、市販のオブジェクト検出器を利用して、収穫されたオブジェクト画像を取得する。
類似したネットワークを用いて、フルイメージの特徴を抽出し、融合モジュールを適用して最終色を予測する。
論文 参考訳（メタデータ） (2020-05-21T17:59:23Z) - Deep Line Art Video Colorization with a Few References [49.7139016311314]
そこで本稿では,対象の参照画像と同一のカラースタイルでラインアートビデオを自動的に色付けする深層アーキテクチャを提案する。
本フレームワークはカラートランスフォーメーションネットワークと時間制約ネットワークから構成される。
本モデルでは,少量のサンプルでパラメータを微調整することで,より優れたカラー化を実現することができる。
論文 参考訳（メタデータ） (2020-03-24T06:57:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。