論文の概要: FreeCond: Free Lunch in the Input Conditions of Text-Guided Inpainting

• arxiv url: http://arxiv.org/abs/2412.00427v1
• Date: Sat, 30 Nov 2024 10:52:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:50:06.224860
• Title: FreeCond: Free Lunch in the Input Conditions of Text-Guided Inpainting
• Title（参考訳）: FreeCond: テキストガイドインペインティングの入力条件におけるフリーランチ
• Authors: Teng-Fang Hsiao, Bo-Kai Ruan, Sung-Lin Tsai, Yi-Lun Wu, Hong-Han Shuai,
• Abstract要約: FreeCondは入力マスク条件と画像条件のみを調整し、追加の計算なしで生成品質を改善する。 実験の結果、FreeCondは任意のSDIベースのモデルを強化し、CLIPスコアのSDIとSDXLIの60%と58%の改善をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 19.1659725630146
• License:
• Abstract: In this study, we aim to determine and solve the deficiency of Stable Diffusion Inpainting (SDI) in following the instruction of both prompt and mask. Due to the training bias from masking, the inpainting quality is hindered when the prompt instruction and image condition are not related. Therefore, we conduct a detailed analysis of the internal representations learned by SDI, focusing on how the mask input influences the cross-attention layer. We observe that adapting text key tokens toward the input mask enables the model to selectively paint within the given area. Leveraging these insights, we propose FreeCond, which adjusts only the input mask condition and image condition. By increasing the latent mask value and modifying the frequency of image condition, we align the cross-attention features with the model's training bias to improve generation quality without additional computation, particularly when user inputs are complicated and deviate from the training setup. Extensive experiments demonstrate that FreeCond can enhance any SDI-based model, e.g., yielding up to a 60% and 58% improvement of SDI and SDXLI in the CLIP score.
• Abstract（参考訳）: 本研究では,SDI (Stable Diffusion Inpainting) の欠如を,プロンプトとマスクの両方の指示に従って判定し,解決することを目的とする。 マスクによるトレーニングバイアスのため、インペインティング品質は、プロンプト命令と画像条件が関連しない場合に妨げられる。 そこで我々は,SDIが学習した内部表現の詳細な解析を行い,マスク入力が関心層にどのように影響するかに着目した。 入力マスクに対するテキストキートークンの適応により、モデルが所定の領域内で選択的にペンキを塗ることができることを観察する。 これらの知見を利用して,入力マスク条件と画像条件のみを調整するFreeCondを提案する。 遅延マスク値の増大と画像条件の頻度の修正により、クロスアテンション特徴とモデルのトレーニングバイアスを一致させ、特にユーザ入力が複雑でトレーニング設定から逸脱した場合に、追加の計算なしで生成品質を向上させる。 大規模な実験により、FreeCondは任意のSDIベースのモデル、例えばCLIPスコアにおけるSDIとSDXLIの60%と58%の改善を達成できることが示された。

関連論文リスト

• DiffSTR: Controlled Diffusion Models for Scene Text Removal [5.790630195329777]
  Scene Text removed (STR) は、画像中のテキストの不正使用を防止することを目的としている。 STRは、バウンダリアーティファクト、一貫性のないテクスチャと色、正しいシャドウの保存など、いくつかの課題に直面している。 STRを塗装タスクとして扱う制御ネット拡散モデルを提案する。 拡散モデルを満たすためのマスク事前学習パイプラインを開発した。
  論文  参考訳（メタデータ） (2024-10-29T04:20:21Z)
• Personalized Face Inpainting with Diffusion Models by Parallel Visual Attention [55.33017432880408]
  本稿では,パラレル視覚注意(PVA, Parallel Visual Attention, PVA)と拡散モデルとの併用による塗装結果の改善を提案する。 我々はCelebAHQ-IDIで注目モジュールとIDエンコーダをトレーニングする。 実験により, PVAは顔の塗り絵と顔の塗り絵の両面において, 言語指導タスクと相容れない同一性を持つことが示された。
  論文  参考訳（メタデータ） (2023-12-06T15:39:03Z)
• SMOOT: Saliency Guided Mask Optimized Online Training [3.024318849346373]
  Saliency-Guided Training (SGT) 手法は、出力に基づいてモデルのトレーニングで顕著な特徴を強調しようとする。 SGTは入力を部分的にマスキングすることで、モデルの最終的な結果をより解釈できるようにする。 本稿では,トレーニング中の入力,精度,モデル損失に基づいて,マスク画像の最適個数を推定する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T19:41:49Z)
• MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
  テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。 本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。 この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
  論文  参考訳（メタデータ） (2023-09-08T15:53:37Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• MaskSketch: Unpaired Structure-guided Masked Image Generation [56.88038469743742]
  MaskSketchは、サンプリング中の余分な条件信号としてガイドスケッチを使用して生成結果の空間的条件付けを可能にする画像生成方法である。 マスク付き生成変換器の中間自己アテンションマップが入力画像の重要な構造情報を符号化していることを示す。 以上の結果から,MaskSketchは誘導構造に対する高画像リアリズムと忠実性を実現する。
  論文  参考訳（メタデータ） (2023-02-10T20:27:02Z)
• Masked Frequency Modeling for Self-Supervised Visual Pre-Training [102.89756957704138]
  MFM(Masked Frequency Modeling)は、視覚モデルの自己教師付き事前学習のための統合周波数領域に基づくアプローチである。 MFMはまず入力画像の周波数成分の一部をマスクアウトし、周波数スペクトルの欠落周波数を予測する。 MFMは初めて、ViTとCNNの両方で、単純な非シームフレームワークは、以下のものを使って意味のある表現を学習できることを示した。
  論文  参考訳（メタデータ） (2022-06-15T17:58:30Z)
• Adversarial Masking for Self-Supervised Learning [81.25999058340997]
  自己教師付き学習のためのマスク付き画像モデル(MIM)フレームワークであるADIOSを提案する。 対向目的物を用いてマスキング機能と画像エンコーダを同時に学習する。 さまざまなタスクやデータセットに対する最先端の自己教師付き学習(SSL)メソッドを一貫して改善する。
  論文  参考訳（メタデータ） (2022-01-31T10:23:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。