論文の概要: L-CAD: Language-based Colorization with Any-level Descriptions using Diffusion Priors

• arxiv url: http://arxiv.org/abs/2305.15217v3
• Date: Mon, 23 Oct 2023 04:56:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 09:11:36.459693
• Title: L-CAD: Language-based Colorization with Any-level Descriptions using Diffusion Priors
• Title（参考訳）: L-CAD:拡散述語を用いた任意のレベル記述による言語ベースの色付け
• Authors: Zheng Chang, Shuchen Weng, Peixuan Zhang, Yu Li, Si Li, Boxin Shi
• Abstract要約: 我々は,任意のレベルの記述で言語ベースの色付けを行う統一モデルを提案する。 我々は、その頑健な言語理解と豊かな色優先のために、事前訓練されたモダリティ生成モデルを活用する。 提案した新しいサンプリング戦略により,多様な複雑なシナリオにおいて,インスタンス認識のカラー化を実現する。
• 参考スコア（独自算出の注目度）: 62.80068955192816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language-based colorization produces plausible and visually pleasing colors under the guidance of user-friendly natural language descriptions. Previous methods implicitly assume that users provide comprehensive color descriptions for most of the objects in the image, which leads to suboptimal performance. In this paper, we propose a unified model to perform language-based colorization with any-level descriptions. We leverage the pretrained cross-modality generative model for its robust language understanding and rich color priors to handle the inherent ambiguity of any-level descriptions. We further design modules to align with input conditions to preserve local spatial structures and prevent the ghosting effect. With the proposed novel sampling strategy, our model achieves instance-aware colorization in diverse and complex scenarios. Extensive experimental results demonstrate our advantages of effectively handling any-level descriptions and outperforming both language-based and automatic colorization methods. The code and pretrained models are available at: https://github.com/changzheng123/L-CAD.
• Abstract（参考訳）: 言語ベースのカラー化は、ユーザフレンドリーな自然言語記述の指導の下で、有意義で視覚的な色を生み出す。 従来手法では、画像内のほとんどのオブジェクトに対して、ユーザが包括的な色記述を提供することを暗黙的に仮定していた。 本稿では,任意のレベルの記述で言語ベースの色付けを行う統一モデルを提案する。 我々は、その頑健な言語理解と豊かな色に事前訓練されたモダリティ生成モデルを活用し、あらゆるレベルの記述の本質的なあいまいさに対処する。 さらに,局所的な空間構造を保ち,ゴースト効果を防止するために,入力条件と整合するモジュールを設計する。 提案する新しいサンプリング戦略により,多様で複雑なシナリオでインスタンス対応のカラー化を実現する。 広範な実験結果から,任意のレベル記述を効果的に処理し,言語ベースと自動カラー化手法を両立させる利点が示された。 コードと事前訓練されたモデルは、https://github.com/changzheng123/L-CADで入手できる。

関連論文リスト

• L-C4: Language-Based Video Colorization for Creative and Consistent Color [59.069498113050436]
  創造的・一貫性のある色(L-C4)のための言語ベースビデオカラー化を提案する。 我々のモデルは、事前訓練された相互モダリティ生成モデルに基づいて構築される。 本研究では,フリックやカラーシフトを防止するために時間的に変形可能な注意点と,長期のカラー一貫性を維持するためにクロスクリップ融合を提案する。
  論文  参考訳（メタデータ） (2024-10-07T12:16:21Z)
• Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
  Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。 ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。 また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
  論文  参考訳（メタデータ） (2024-02-16T17:51:13Z)
• Language-based Photo Color Adjustment for Graphic Designs [38.43984897069872]
  画像のリカラー化のための対話型言語ベースのアプローチを提案する。 本モデルでは,ソース色と対象領域を予測し,与えられた言語に基づく指示に基づいて,対象領域をソース色で再色することができる。
  論文  参考訳（メタデータ） (2023-08-06T08:53:49Z)
• DiffColor: Toward High Fidelity Text-Guided Image Colorization with Diffusion Models [12.897939032560537]
  そこで我々はDiffColorと呼ばれる新しい手法を提案し、プロンプトテキストに条件付けされた鮮やかな色を復元する。 私たちはまず、CLIPベースのコントラスト損失を用いて色付き画像を生成するために、事前訓練されたテキスト・ツー・イメージ・モデルを微調整する。 次に、色付き画像とテキストプロンプトを整列した最適化されたテキスト埋め込みと、高品質な画像再構成を可能にする微調整拡散モデルを得る。 提案手法は,複数回の反復で鮮やかな多彩な色を生成でき,その構造と背景をそのままに保ちつつ,対象言語指導に適合させる。
  論文  参考訳（メタデータ） (2023-08-03T09:38:35Z)
• Text Descriptions are Compressive and Invariant Representations for Visual Learning [63.3464863723631]
  本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。 特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。 このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
  論文  参考訳（メタデータ） (2023-07-10T03:06:45Z)
• StylerDALLE: Language-Guided Style Transfer Using a Vector-Quantized Tokenizer of a Large-Scale Generative Model [64.26721402514957]
  本論文では,自然言語を用いて抽象芸術スタイルを記述するスタイル転送手法であるStylerDALLEを提案する。 具体的には、非自己回帰的なトークンシーケンス変換として、言語誘導型転送タスクを定式化する。 スタイル情報を組み込むために,CLIPに基づく言語指導による強化学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-16T12:44:44Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。