論文の概要: ControlFill: Spatially Adjustable Image Inpainting from Prompt Learning

• arxiv url: http://arxiv.org/abs/2503.04268v1
• Date: Thu, 06 Mar 2025 09:57:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 17:59:00.770235
• Title: ControlFill: Spatially Adjustable Image Inpainting from Prompt Learning
• Title（参考訳）: ControlFill: プロンプト学習による空間的適応可能な画像の描画
• Authors: Boseong Jeon,
• Abstract要約: textitControlFillという,2つの異なるプロンプトをトレーニングするインペイントフレームワークを紹介します。 推論段階において、これらの学習された埋め込みは、重いテキストエンコーダを必要とせずに動作する拡散ネットワークを誘導する。
• 参考スコア（独自算出の注目度）: 0.9790236766474201
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this report, I present an inpainting framework named \textit{ControlFill}, which involves training two distinct prompts: one for generating plausible objects within a designated mask (\textit{creation}) and another for filling the region by extending the background (\textit{removal}). During the inference stage, these learned embeddings guide a diffusion network that operates without requiring heavy text encoders. By adjusting the relative significance of the two prompts and employing classifier-free guidance, users can control the intensity of removal or creation. Furthermore, I introduce a method to spatially vary the intensity of guidance by assigning different scales to individual pixels.
• Abstract（参考訳）: 本報告では,指定マスク内で可塑性オブジェクトを生成すること (\textit{creation}) と,背景を拡張して領域を埋めること (\textit{removal}) の2つの異なるプロンプトをトレーニングする。 推論段階において、これらの学習された埋め込みは、重いテキストエンコーダを必要とせずに動作する拡散ネットワークを誘導する。 2つのプロンプトの相対的重要性を調整し、分類子なし指導を採用することで、ユーザは削除や作成の強度を制御できる。 さらに,個々の画素に異なるスケールを割り当てることで,誘導の強度を空間的に変化させる手法を提案する。

関連論文リスト

• Instruct2See: Learning to Remove Any Obstructions Across Distributions [28.298081534934756]
  Instruct2Seeは、目に見えない障害と見えない障害の両方を扱うことができる新しいフレームワークである。 本手法の中核となる考え方は,軟弱マスク修復問題として扱うことにより,閉塞除去を統一することである。 調整可能なマスクアダプタは、ダイナミックなソフトマスクが可能で、不正確なマスクをリアルタイムに調整することができる。
  論文  参考訳（メタデータ） (2025-05-23T09:12:34Z)
• DPSeg: Dual-Prompt Cost Volume Learning for Open-Vocabulary Semantic Segmentation [16.64056234334767]
  Open-vocabulary semantic segmentationは、画像をピクセルレベルで異なる意味領域に分割することを目的としている。 現在の方法は、CLIPのような訓練済みの視覚言語モデルのテキスト埋め込みを利用する。 本稿では,この課題に対する二重プロンプトフレームワークDPSegを提案する。
  論文  参考訳（メタデータ） (2025-05-16T20:25:42Z)
• Recovering Partially Corrupted Objects via Sketch-Guided Bidirectional Feature Interaction [16.03488741913531]
  テキスト誘導拡散モデルはテキストプロンプトを通じて高レベルの意味指導を提供する。 これらはしばしば、部分的に破損した物体に正確なピクセルレベルの空間制御を欠いている。 本研究では,事前訓練された安定拡散モデルに基づくスケッチ誘導双方向特徴相互作用フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-10T08:34:31Z)
• SketchYourSeg: Mask-Free Subjective Image Segmentation via Freehand Sketches [116.1810651297801]
  SketchYourSegは、主観的なイメージセグメンテーションのための強力なクエリモダリティとして、フリーハンドスケッチを確立している。 我々の評価は、様々なベンチマークで既存のアプローチよりも優れた性能を示している。
  論文  参考訳（メタデータ） (2025-01-27T13:07:51Z)
• Object-level Visual Prompts for Compositional Image Generation [75.6085388740087]
  テキストから画像への拡散モデルにおいて,オブジェクトレベルの視覚的プロンプトを構成する手法を提案する。 このタスクにおける重要な課題は、入力された視覚的プロンプトで表現されたオブジェクトのアイデンティティを保持することである。 我々は、キーと値が異なる視覚的表現から学習される新しいKV混合のクロスアテンション機構を導入する。
  論文  参考訳（メタデータ） (2025-01-02T18:59:44Z)
• TextDestroyer: A Training- and Annotation-Free Diffusion Method for Destroying Anomal Text from Images [84.08181780666698]
  TextDestroyerは、シーンテキスト破壊のためのトレーニングおよびアノテーションなしのメソッドである。 提案手法は,復元前のガウス分布を用いて遅延開始符号中のテキスト領域をスクランブルする。 TextDestroyerの利点は、(1)労働集約型データアノテーションとリソース集約型トレーニングを排除し、(2)より徹底的なテキスト破壊を実現し、認識可能なトレースを防止し、(3)より優れた一般化能力を示し、現実世界のシーンと生成された画像の両方でうまく機能する。
  論文  参考訳（メタデータ） (2024-11-01T04:41:00Z)
• Improving Text-guided Object Inpainting with Semantic Pre-inpainting [95.17396565347936]
  我々は,典型的な単一ステージオブジェクトを2つのカスケードプロセス – セマンティックプリペイントと高磁場オブジェクト生成 – に分解する。 これを実現するために,トランスフォーマーをベースとしたセマンティックインパインとオブジェクトインパインティング拡散モデルをカスケードし,新しいCAscaded Transformer-Diffusionフレームワークを実現する。
  論文  参考訳（メタデータ） (2024-09-12T17:55:37Z)
• Scribble-Guided Diffusion for Training-free Text-to-Image Generation [17.930032337081673]
  Scribble-Guided Diffusion (ScribbleDiff)は、単純なユーザが提供するスクリブルを視覚的プロンプトとして利用して画像生成を誘導する、トレーニング不要のアプローチである。 モーメントアライメントとスクリブル伝搬を導入し、生成した画像とスクリブル入力のより効果的で柔軟なアライメントを可能にする。
  論文  参考訳（メタデータ） (2024-09-12T13:13:07Z)
• Zero-Painter: Training-Free Layout Control for Text-to-Image Synthesis [63.757624792753205]
  レイアウト条件のテキスト-画像合成のためのZero-Painterを提案する。 本手法では,オブジェクトマスクと個々の記述とグローバルテキストプロンプトを組み合わせることで,忠実度の高い画像を生成する。
  論文  参考訳（メタデータ） (2024-06-06T13:02:00Z)
• Locate, Assign, Refine: Taming Customized Promptable Image Inpainting [22.163855501668206]
  本稿では,マルチモーダル・プロンプト・イメージ・インパインティング・プロジェクト,新しいタスクモデル,カスタマイズされたイメージ・インパインティングのためのデータを紹介する。 マスクプロンプトに対応する画像中の特定の領域をシームレスに塗布できる,画像塗布の新しいアプローチであるLAR-Genを提案する。 我々のLAR-Genは、ソースイメージのコンテキスト整合性、主観的アイデンティティ整合性、テキスト記述に対する局所的セマンティック整合性、滑らか性整合性を保証するために粗大な方法で採用しています。
  論文  参考訳（メタデータ） (2024-03-28T16:07:55Z)
• N2F2: Hierarchical Scene Understanding with Nested Neural Feature Fields [112.02885337510716]
  Nested Neural Feature Fields (N2F2)は、階層的な監視を用いて単一機能フィールドを学習する新しいアプローチである。 画像空間の任意のスケールで意味的に意味のある画素群を提供するために、2次元クラス非依存セグメンテーションモデルを利用する。 オープンな3次元セグメンテーションやローカライゼーションといったタスクにおいて,最先端のフィールド蒸留法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-03-16T18:50:44Z)
• Open-Vocabulary Segmentation with Unpaired Mask-Text Supervision [87.15580604023555]
  Unpair-Segは、弱制御されたオープン語彙セグメンテーションフレームワークである。 未ペア画像マスクと画像テキストペアから学習し、独立して効率的に収集することができる。 ADE-847とPASCAL Context-459データセットで14.6%と19.5%のmIoUを達成した。
  論文  参考訳（メタデータ） (2024-02-14T06:01:44Z)
• A Simple Latent Diffusion Approach for Panoptic Segmentation and Mask Inpainting [2.7563282688229664]
  この研究は安定拡散の上に構築され、汎視的セグメンテーションに対する潜時拡散アプローチを提案する。 トレーニングは,(1)部分分割マスクを潜伏空間に投影する浅層オートエンコーダの訓練,(2)潜伏空間における画像条件付きサンプリングを可能にする拡散モデルの訓練,の2段階からなる。
  論文  参考訳（メタデータ） (2024-01-18T18:59:19Z)
• Readout Guidance: Learning Control from Diffusion Features [96.22155562120231]
  本稿では,学習信号を用いたテキスト・画像拡散モデル制御手法であるReadout Guidanceを提案する。 Readout Guidanceはリードアウトヘッドを使用し、トレーニング済みの凍結拡散モデルの特徴から信号を取り出すために訓練された軽量ネットワークである。 これらの読み出しは、ポーズ、深さ、エッジなどのシングルイメージ特性や、対応性や外観類似性といった複数の画像に関連する高次特性を符号化することができる。
  論文  参考訳（メタデータ） (2023-12-04T18:59:32Z)
• Ranni: Taming Text-to-Image Diffusion for Accurate Instruction Following [59.997857926808116]
  画像にテキストのデコードとして意味パネルを導入する。 パネルは、入力テキストから解析された視覚概念をアレンジすることで得られる。 我々は,実用的なシステムを開発し,連続生成とチャットベースの編集の可能性を示す。
  論文  参考訳（メタデータ） (2023-11-28T17:57:44Z)
• Exploring Limits of Diffusion-Synthetic Training with Weakly Supervised Semantic Segmentation [16.863038973001483]
  本研究は拡散合成セマンティックセマンティックセグメンテーショントレーニングの3つの手法を紹介する。 第一に、信頼性に配慮した堅牢なトレーニングは、もともと弱い教師付き学習で用いられ、合成マスクの品質が不十分なセグメンテーションに役立つ。 第2に、画像Net-1kクラスの画像にバックボーンだけでなく、全体セグメンテーションモデルの大規模事前トレーニングを行うことで、下流のセグメンテーションタスクにメリットがある。 第3に,テキストリソースの制限により,トレーニング画像のスケールアップと多様化を図るために,プロンプトテキストセットにプロンプト拡張,データ拡張を導入する。
  論文  参考訳（メタデータ） (2023-09-04T05:34:19Z)
• Masked-Attention Diffusion Guidance for Spatially Controlling Text-to-Image Generation [1.0152838128195465]
  拡散モデルのさらなる訓練を伴わずにテキスト・画像生成を空間的に制御する手法を提案する。 我々の目的は、与えられたセマンティックマスクやテキストプロンプトに従ってアテンションマップを制御することである。
  論文  参考訳（メタデータ） (2023-08-11T09:15:22Z)
• StrucTexTv2: Masked Visual-Textual Prediction for Document Image Pre-training [64.37272287179661]
  StrucTexTv2は、効果的なドキュメントイメージ事前トレーニングフレームワークである。 マスク付き画像モデリングとマスク付き言語モデリングの2つの自己教師付き事前訓練タスクで構成されている。 画像分類、レイアウト解析、テーブル構造認識、ドキュメントOCR、情報抽出など、さまざまな下流タスクにおいて、競合的あるいは新しい最先端パフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-03-01T07:32:51Z)
• SmartBrush: Text and Shape Guided Object Inpainting with Diffusion Model [27.91089554671927]
  ジェネリック・イメージ・インペイントは、周辺情報を借りて、腐敗したイメージを完成させることを目的としている。 対照的に、マルチモーダル・インパインティングは、インパインされたコンテンツに対してより柔軟で有用なコントロールを提供する。 テキストと形状誘導の両方を用いて、オブジェクトで欠落した領域を完了するための拡散モデルSmartBrushを提案する。
  論文  参考訳（メタデータ） (2022-12-09T18:36:13Z)
• SceneComposer: Any-Level Semantic Image Synthesis [80.55876413285587]
  任意の精度のセマンティックレイアウトから条件付き画像合成のための新しいフレームワークを提案する。 このフレームワークは、形状情報のない最低レベルのテキスト・トゥ・イメージ(T2I)に自然に還元され、最高レベルのセグメンテーション・トゥ・イメージ(S2I)となる。 本稿では,この新たなセットアップの課題に対処する,新しいテクニックをいくつか紹介する。
  論文  参考訳（メタデータ） (2022-11-21T18:59:05Z)
• Semantic Layout Manipulation with High-Resolution Sparse Attention [106.59650698907953]
  本稿では,意味ラベルマップを編集して入力画像を操作するセマンティックイメージレイアウト操作の課題に対処する。 このタスクの中核的な問題は、視覚的にイメージを現実的にしながら、入力画像から新しいセマンティックレイアウトに視覚的な詳細を転送する方法です。 512×512の解像度で視覚的詳細を新しいレイアウトに効果的に転送する高分解能スパースアテンションモジュールを提案する。
  論文  参考訳（メタデータ） (2020-12-14T06:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。