論文の概要: Towards Generalized and Training-Free Text-Guided Semantic Manipulation
- arxiv url: http://arxiv.org/abs/2504.17269v1
- Date: Thu, 24 Apr 2025 05:54:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.26239
- Title: Towards Generalized and Training-Free Text-Guided Semantic Manipulation
- Title（参考訳）: 汎用・学習自由なテキストガイドセマンティックマニピュレーションを目指して
- Authors: Yu Hong, Xiao Cai, Pengpeng Zeng, Shuai Zhang, Jingkuan Song, Lianli Gao, Heng Tao Shen,
- Abstract要約: テキスト誘導意味操作は、ソースプロンプトから生成された画像をセマンティックに編集し、ターゲットプロンプトにマッチさせる。
本稿では,テキスト案内型セマンティック操作のための新しい$textitGTF$を提案する。
本実験は,本手法の有効性を実証し,セマンティックス操作の最先端化の可能性を強調した。
- 参考スコア（独自算出の注目度）: 123.80467566483038
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-guided semantic manipulation refers to semantically editing an image generated from a source prompt to match a target prompt, enabling the desired semantic changes (e.g., addition, removal, and style transfer) while preserving irrelevant contents. With the powerful generative capabilities of the diffusion model, the task has shown the potential to generate high-fidelity visual content. Nevertheless, existing methods either typically require time-consuming fine-tuning (inefficient), fail to accomplish multiple semantic manipulations (poorly extensible), and/or lack support for different modality tasks (limited generalizability). Upon further investigation, we find that the geometric properties of noises in the diffusion model are strongly correlated with the semantic changes. Motivated by this, we propose a novel $\textit{GTF}$ for text-guided semantic manipulation, which has the following attractive capabilities: 1) $\textbf{Generalized}$: our $\textit{GTF}$ supports multiple semantic manipulations (e.g., addition, removal, and style transfer) and can be seamlessly integrated into all diffusion-based methods (i.e., Plug-and-play) across different modalities (i.e., modality-agnostic); and 2) $\textbf{Training-free}$: $\textit{GTF}$ produces high-fidelity results via simply controlling the geometric relationship between noises without tuning or optimization. Our extensive experiments demonstrate the efficacy of our approach, highlighting its potential to advance the state-of-the-art in semantics manipulation.
- Abstract（参考訳）: テキスト誘導セマンティックな操作は、ソースプロンプトから生成された画像をセマンティックに編集してターゲットプロンプトにマッチさせ、無関係なコンテンツを保存しながら、望ましいセマンティックな変更(例えば、追加、削除、スタイル転送)を可能にする。
拡散モデルの強力な生成能力により、タスクは高忠実度視覚コンテンツを生成する可能性を示した。
しかし、既存の手法は、通常、時間を要する微調整(非効率)、複数の意味的操作(多義的に拡張可能)の達成の失敗、および/または異なるモダリティタスクのサポートの欠如(限定的な一般化可能性)を必要とする。
さらに検討した結果,拡散モデルにおける雑音の幾何学的性質は意味的変化と強く相関していることがわかった。
これを動機として、テキスト誘導セマンティック操作のための新しい$\textit{GTF}$を提案する。
1$\textbf{Generalized}$: our $\textit{GTF}$は複数のセマンティック操作(例えば、追加、削除、スタイル転送)をサポートし、異なるモダリティ(モダリティに依存しない)ですべての拡散ベースのメソッド(プラグインとプレイ)にシームレスに統合できる。
2$\textbf{Training-free}$: $\textit{GTF}$は、チューニングや最適化なしに、ノイズ間の幾何学的関係を単純に制御することで、高忠実度の結果を生成する。
提案手法の有効性を実証し,セマンティックス操作の最先端化の可能性を明らかにする。
関連論文リスト
- Noise Diffusion for Enhancing Semantic Faithfulness in Text-to-Image Synthesis [9.11767497956649]
本稿では,大規模視覚言語モデルの言語理解能力を活用して,初期雑音ラテントの最適化を導くことを提案する。
本研究では,ノイズ拡散プロセスを導入し,雑音を更新し,分布の整合性を保ちながら意味的に忠実な画像を生成する。
実験により,様々な拡散モデル間のセマンティックアライメントを一貫して強化し,本フレームワークの有効性と適応性を示した。
論文 参考訳（メタデータ） (2024-11-25T15:40:47Z) - SCA: Highly Efficient Semantic-Consistent Unrestricted Adversarial Attack [29.744970741737376]
我々はセマンティック・コンスタント・アンリミスタント・アンリミテッド・アタック(SCA)と呼ばれる新しいフレームワークを提案する。
SCAは、編集しやすいノイズマップを抽出するために反転法を採用し、意味的なガイダンスを提供するためにMLLM(Multimodal Large Language Model)を使用している。
我々のフレームワークは、最小限の識別可能な意味変化を示す敵例の効率的な生成を可能にする。
論文 参考訳（メタデータ） (2024-10-03T06:25:53Z) - Contextualized Diffusion Models for Text-Guided Image and Video Generation [67.69171154637172]
条件拡散モデルは高忠実度テキスト誘導視覚生成および編集において優れた性能を示した。
本研究では,テキスト条件と視覚的サンプル間の相互作用とアライメントを包含するクロスモーダルコンテキストを組み込むことにより,コンテキスト拡散モデル(ContextDiff)を提案する。
理論的導出を伴うDDPMとDDIMの両方にモデルを一般化し、テキスト・ツー・イメージ生成とテキスト・ツー・ビデオ編集という2つの課題を伴う評価において、モデルの有効性を実証する。
論文 参考訳（メタデータ） (2024-02-26T15:01:16Z) - SemanticBoost: Elevating Motion Generation with Augmented Textual Cues [73.83255805408126]
我々のフレームワークはセマンティック・エンハンスメント・モジュールとコンテキスト調整型モーション・デノイザ(CAMD)から構成されている。
CAMDアプローチは、高品質でセマンティックに一貫性のあるモーションシーケンスを生成するための全エンコンパスソリューションを提供する。
実験の結果,SemanticBoostは拡散法として自己回帰法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-10-31T09:58:11Z) - Boosting Video-Text Retrieval with Explicit High-Level Semantics [115.66219386097295]
VTRのための新しい視覚言語整合モデルHiSEを提案する。
明示的なハイレベルなセマンティクスを取り入れることで、クロスモーダル表現を改善する。
提案手法は,3つのベンチマークデータセット上での最先端手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-08-08T15:39:54Z) - Graph Adaptive Semantic Transfer for Cross-domain Sentiment
Classification [68.06496970320595]
クロスドメイン感情分類(CDSC)は、ソースドメインから学んだ伝達可能なセマンティクスを使用して、ラベルなしのターゲットドメインにおけるレビューの感情を予測することを目的としている。
本稿では、単語列と構文グラフの両方からドメイン不変セマンティクスを学習できる適応型構文グラフ埋め込み法であるグラフ適応意味伝達(GAST)モデルを提案する。
論文 参考訳（メタデータ） (2022-05-18T07:47:01Z) - Unsupervised Semantic Segmentation by Distilling Feature Correspondences [94.73675308961944]
教師なしセマンティックセグメンテーション(unsupervised semantic segmentation)は、アノテーションなしで画像コーパス内の意味論的意味のあるカテゴリを発見し、ローカライズすることを目的としている。
STEGOは、教師なし特徴を高品質な個別のセマンティックラベルに蒸留する新しいフレームワークである。
STEGOは、CocoStuffとCityscapesの両課題において、先行技術よりも大幅に改善されている。
論文 参考訳（メタデータ） (2022-03-16T06:08:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。