論文の概要: Automatic Controllable Colorization via Imagination

• arxiv url: http://arxiv.org/abs/2404.05661v1
• Date: Mon, 8 Apr 2024 16:46:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 13:36:07.652514
• Title: Automatic Controllable Colorization via Imagination
• Title（参考訳）: イマジネーションによる色自動制御
• Authors: Xiaoyan Cong, Yue Wu, Qifeng Chen, Chenyang Lei,
• Abstract要約: 本稿では,反復的な編集と修正が可能な自動色付けフレームワークを提案する。 グレースケール画像内のコンテンツを理解することにより、トレーニング済みの画像生成モデルを用いて、同じコンテンツを含む複数の画像を生成する。 これらの画像は、人間の専門家の過程を模倣して、色付けの参考となる。
• 参考スコア（独自算出の注目度）: 55.489416987587305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a framework for automatic colorization that allows for iterative editing and modifications. The core of our framework lies in an imagination module: by understanding the content within a grayscale image, we utilize a pre-trained image generation model to generate multiple images that contain the same content. These images serve as references for coloring, mimicking the process of human experts. As the synthesized images can be imperfect or different from the original grayscale image, we propose a Reference Refinement Module to select the optimal reference composition. Unlike most previous end-to-end automatic colorization algorithms, our framework allows for iterative and localized modifications of the colorization results because we explicitly model the coloring samples. Extensive experiments demonstrate the superiority of our framework over existing automatic colorization algorithms in editability and flexibility. Project page: https://xy-cong.github.io/imagine-colorization.
• Abstract（参考訳）: 本稿では,反復的な編集と修正が可能な自動色付けフレームワークを提案する。 グレースケール画像内のコンテンツを理解することで、トレーニング済みの画像生成モデルを使用して、同じコンテンツを含む複数の画像を生成する。 これらの画像は、人間の専門家の過程を模倣して、色付けの参考となる。 合成画像は、元のグレースケール画像と不完全あるいは異なる可能性があるため、最適な参照合成を選択するための参照リファインメントモジュールを提案する。 従来のエンド・ツー・エンドの自動着色アルゴリズムとは違って,本フレームワークでは,着色サンプルを明示的にモデル化するため,着色結果の反復的,局所的な修正が可能となった。 編集性および柔軟性において、既存の自動色付けアルゴリズムよりもフレームワークが優れていることを示す大規模な実験を行った。 プロジェクトページ: https://xy-cong.github.io/imagine-colorization

関連論文リスト

• Paint Bucket Colorization Using Anime Character Color Design Sheets [72.66788521378864]
  ネットワークがセグメント間の関係を理解することができる包摂的マッチングを導入する。 ネットワークのトレーニングパイプラインは、カラー化と連続フレームカラー化の両方のパフォーマンスを著しく向上させる。 ネットワークのトレーニングをサポートするために、PaintBucket-Characterというユニークなデータセットを開発しました。
  論文  参考訳（メタデータ） (2024-10-25T09:33:27Z)
• Palette-based Color Transfer between Images [9.471264982229508]
  そこで我々は,新しいカラースキームを自動生成できるパレットベースのカラートランスファー手法を提案する。 再設計されたパレットベースのクラスタリング手法により、色分布に応じて画素を異なるセグメントに分類することができる。 本手法は, 自然リアリズム, 色整合性, 一般性, 堅牢性の観点から, ピア法に対して有意な優位性を示す。
  論文  参考訳（メタデータ） (2024-05-14T01:41:19Z)
• Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
  Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。 ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。 また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
  論文  参考訳（メタデータ） (2024-02-16T17:51:13Z)
• Fine-Tuning InstructPix2Pix for Advanced Image Colorization [3.4975669723257035]
  本稿では,InstructPix2Pixモデルの微調整によるヒト画像のカラー化手法を提案する。 IMDB-WIKIデータセットを用いてモデルを微調整し、ChatGPTが生成する多様なカラー化プロンプトと白黒画像をペアリングする。 微調整後,本モデルでは,元となるInstructPix2Pixモデルを定量的に比較した。
  論文  参考訳（メタデータ） (2023-12-08T01:36:49Z)
• DiffColor: Toward High Fidelity Text-Guided Image Colorization with Diffusion Models [12.897939032560537]
  そこで我々はDiffColorと呼ばれる新しい手法を提案し、プロンプトテキストに条件付けされた鮮やかな色を復元する。 私たちはまず、CLIPベースのコントラスト損失を用いて色付き画像を生成するために、事前訓練されたテキスト・ツー・イメージ・モデルを微調整する。 次に、色付き画像とテキストプロンプトを整列した最適化されたテキスト埋め込みと、高品質な画像再構成を可能にする微調整拡散モデルを得る。 提案手法は,複数回の反復で鮮やかな多彩な色を生成でき,その構造と背景をそのままに保ちつつ,対象言語指導に適合させる。
  論文  参考訳（メタデータ） (2023-08-03T09:38:35Z)
• BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature Fusion for Deep Exemplar-based Video Colorization [70.14893481468525]
  本稿では,参照例の色を探索し,映像のカラー化を支援するために有効なBiSTNetを提案する。 まず、各フレームと参照例間の深い特徴空間における意味的対応を確立し、参照例からの色情報を探究する。 我々は,フレームのオブジェクト境界をモデル化するための意味情報を抽出する混合専門家ブロックを開発した。
  論文  参考訳（メタデータ） (2022-12-05T13:47:15Z)
• UniColor: A Unified Framework for Multi-Modal Colorization with Transformer [23.581502129504287]
  各種条件を1つのモデルに組み込むための2段階カラー化フレームワークを提案する。 第一段階では、マルチモーダル条件はヒントポイントの共通表現に変換される。 第2段階では,Chroma-VQGANとHybrid-Transformerで構成されるTransformerベースのネットワークを提案し,ヒント点に条件付き多彩で高品質なカラー化結果を生成する。
  論文  参考訳（メタデータ） (2022-09-22T17:59:09Z)
• Exemplar-Based Image Colorization with A Learning Framework [7.793461393970992]
  学習フレームワークを用いた自動着色手法を提案する。 カラー化過程と学習過程を分離し、同一のグレー画像に対して様々なカラースタイルを生成する。 最先端のカラー化アルゴリズムに匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-09-13T07:15:25Z)
• Towards Photorealistic Colorization by Imagination [48.82757902812846]
  本稿では,人間の想像力を模倣した画像の自動色付け手法を提案する。 我々の研究は、最先端の画像カラー化手法よりも、よりカラフルで多彩な結果をもたらす。
  論文  参考訳（メタデータ） (2021-08-20T14:28:37Z)
• Instance-aware Image Colorization [51.12040118366072]
  本稿では,インスタンス認識のカラー化を実現する手法を提案する。 我々のネットワークアーキテクチャは、市販のオブジェクト検出器を利用して、収穫されたオブジェクト画像を取得する。 類似したネットワークを用いて、フルイメージの特徴を抽出し、融合モジュールを適用して最終色を予測する。
  論文  参考訳（メタデータ） (2020-05-21T17:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。