Fugu-MT 論文翻訳(概要): ST-LDM: A Universal Framework for Text-Grounded Object Generation in Real Images

論文の概要: ST-LDM: A Universal Framework for Text-Grounded Object Generation in Real Images

arxiv url: http://arxiv.org/abs/2403.10004v1
Date: Fri, 15 Mar 2024 04:02:31 GMT
ステータス: 処理完了
システム内更新日: 2024-03-18 18:38:56.693996
Title: ST-LDM: A Universal Framework for Text-Grounded Object Generation in Real Images
Title（参考訳）: ST-LDM: 実画像におけるテキストグラウンドオブジェクト生成のためのユニバーサルフレームワーク
Authors: Xiangtian Xue, Jiasong Wu, Youyong Kong, Lotfi Senhadji, Huazhong Shu,
Abstract要約: テキストグラウンドドオブジェクト生成(TOG)と呼ばれる新しい画像編集シナリオを提案する。本稿では,Swin-Transformerをベースとした汎用フレームワークST-LDMを提案する。本モデルでは,拡散モデル固有の生成能力を保ちながら,注意機構の局所化を促進する。
参考スコア（独自算出の注目度）: 9.906943507715779
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a novel image editing scenario termed Text-grounded Object Generation (TOG), defined as generating a new object in the real image spatially conditioned by textual descriptions. Existing diffusion models exhibit limitations of spatial perception in complex real-world scenes, relying on additional modalities to enforce constraints, and TOG imposes heightened challenges on scene comprehension under the weak supervision of linguistic information. We propose a universal framework ST-LDM based on Swin-Transformer, which can be integrated into any latent diffusion model with training-free backward guidance. ST-LDM encompasses a global-perceptual autoencoder with adaptable compression scales and hierarchical visual features, parallel with deformable multimodal transformer to generate region-wise guidance for the subsequent denoising process. We transcend the limitation of traditional attention mechanisms that only focus on existing visual features by introducing deformable feature alignment to hierarchically refine spatial positioning fused with multi-scale visual and linguistic information. Extensive Experiments demonstrate that our model enhances the localization of attention mechanisms while preserving the generative capabilities inherent to diffusion models.
Abstract（参考訳）: 本稿では,テキスト記述による空間的条件付き実画像に新たなオブジェクトを生成することを定義した,テキストグラウンドドオブジェクト生成(TOG)と呼ばれる新しい画像編集シナリオを提案する。既存の拡散モデルは、複雑な現実世界のシーンにおける空間知覚の限界を示し、制約を強制するための追加のモダリティに依存し、TOGは言語情報の弱い監督の下でシーン理解により高い課題を課している。本研究では,Swin-Transformerをベースとした汎用フレームワークST-LDMを提案する。 ST-LDMは、適応可能な圧縮スケールと階層的な視覚特徴を備えたグローバルパーセプティブオートエンコーダを含み、変形可能なマルチモーダルトランスフォーマーと平行して、その後のデノナイズプロセスの地域的ガイダンスを生成する。マルチスケールの視覚情報と言語情報とを融合した空間的位置決めを階層的に洗練するために、変形可能な特徴アライメントを導入することで、既存の視覚的特徴のみに焦点を当てる従来の注意機構の限界を超越する。広範実験により,拡散モデル固有の生成能力を保ちながら,注意機構の局所化が促進されることが示されている。

関連論文リスト

Zero-shot Text-guided Infinite Image Synthesis with LLM guidance [2.531998650341267]
解像度とコンテキストの多様性を備えたテキストイメージのペアデータセットが不足している。テキストに基づく画像の拡張には、グローバルコヒーレンスとリッチなローカルコンテキスト理解が必要である。本稿では,大域的コヒーレンスと局所的文脈理解の両面において,Large Language Models (LLM) を用いた新しい手法を提案する。
論文参考訳（メタデータ） (2024-07-17T15:10:01Z)
Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
論文参考訳（メタデータ） (2024-03-05T13:45:46Z)
RegionGPT: Towards Region Understanding Vision Language Model [88.42271128373191]
RegionGPT(RGPT)は、複雑な地域レベルのキャプションと理解のために設計された新しいフレームワークである。我々は、詳細な地域レベルのキャプションを備えたトレーニングセットを充実させる、自動領域キャプションデータ生成パイプラインを開発する。本研究では,領域レベルのタスクに対して,汎用的なRGPTモデルを効果的に適用し,性能を大幅に向上させることを実証する。
論文参考訳（メタデータ） (2024-03-04T18:58:08Z)
Image Translation as Diffusion Visual Programmers [52.09889190442439]
Diffusion Visual Programmer (DVP) は、ニューロシンボリックな画像翻訳フレームワークである。我々のフレームワークはGPTアーキテクチャ内に条件フレキシブル拡散モデルをシームレスに組み込む。大規模な実験は、DVPの卓越したパフォーマンスを示し、同時に芸術を超越している。
論文参考訳（メタデータ） (2024-01-18T05:50:09Z)
One-for-All: Towards Universal Domain Translation with a Single StyleGAN [86.33216867136639]
視覚的に異なる領域間の表現を変換するための新しい翻訳モデルUniTranslatorを提案する。提案したUniTranslatorは汎用的で、スタイルミキシング、スタイリゼーション、翻訳など様々なタスクを実行できる。 UniTranslatorは、既存の汎用モデルの性能を超越し、代表タスクの特殊モデルに対してよく機能する。
論文参考訳（メタデータ） (2023-10-22T08:02:55Z)
Light Field Diffusion for Single-View Novel View Synthesis [32.59286750410843]
NVS(Single-view novel view synthesis)は、コンピュータビジョンにおいて重要であるが困難である。 NVSの最近の進歩は、高忠実度画像を生成するのに優れた能力として、Denoising Diffusion Probabilistic Models (DDPMs)を活用している。光電界拡散(LFD)は,従来のカメラポーズ行列への依存を超越した,条件拡散に基づく新しいアプローチである。
論文参考訳（メタデータ） (2023-09-20T03:27:06Z)
SSMG: Spatial-Semantic Map Guided Diffusion Model for Free-form Layout-to-Image Generation [68.42476385214785]
本稿では,レイアウトから派生した特徴写像を用いた空間意味マップガイド(SSMG)拡散モデルを提案する。 SSMGは,従来の研究に比べて空間的,意味的な制御性に優れた生成品質を実現する。また,RSA(Relation-Sensitive Attention)機構とLSA(Location-Sensitive Attention)機構を提案する。
論文参考訳（メタデータ） (2023-08-20T04:09:12Z)
LAW-Diffusion: Complex Scene Generation by Diffusion with Layouts [107.11267074981905]
LAW拡散(LAW-Diffusion)と呼ばれる意味制御可能なレイアウト・AWare拡散モデルを提案する。 LAW拡散は、特にコヒーレントな対象関係を持つ最先端の生成性能をもたらすことを示す。
論文参考訳（メタデータ） (2023-08-13T08:06:18Z)
Multimodal-driven Talking Face Generation via a Unified Diffusion-based Generator [29.58245990622227]
マルチモーダル駆動型トーキングフェイス生成(マルチモーダルドリブントーキングフェイスジェネレーション)とは、画像や動画から移動された、あるいはテキストやオーディオから推定される、与えられたポーズ、表情、および視線で肖像画をアニメーションすることを指す。既存の手法はテキスト・モーダルの可能性を無視し、ジェネレータは主に不安定なGANフレームワークと結合したソース指向の機能パラダイムに従う。不安定なシーソースタイルの最適化が不要な新しいパラダイムを導出し、単純で安定で効果的なトレーニングと推論スキームを導出する。
論文参考訳（メタデータ） (2023-05-04T07:01:36Z)
FER-former: Multi-modal Transformer for Facial Expression Recognition [14.219492977523682]
本稿では,表情認識のための多孔性監視ステアリングトランスを提案する。提案手法は,多粒性埋め込み統合,ハイブリッド自己アテンション方式,及びヘテロジニアス・ドメイン・ステアリング・インスペクションを特徴とする。人気のあるベンチマークの実験では、既存の最先端技術よりも提案されたFER-formerの方が優れていることが示されている。
論文参考訳（メタデータ） (2023-03-23T02:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。