論文の概要: Towards Transformer-Based Aligned Generation with Self-Coherence Guidance

• arxiv url: http://arxiv.org/abs/2503.17675v1
• Date: Sat, 22 Mar 2025 07:03:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:36:51.872886
• Title: Towards Transformer-Based Aligned Generation with Self-Coherence Guidance
• Title（参考訳）: 自己整合性誘導を用いた変圧器を用いたアライメント生成に向けて
• Authors: Shulei Wang, Wang Lin, Hai Huang, Hanting Wang, Sihang Cai, WenKang Han, Tao Jin, Jingyuan Chen, Jiacheng Sun, Jieming Zhu, Zhou Zhao,
• Abstract要約: トランスフォーマーを用いたテキストガイド拡散モデル(TGDM)におけるアライメント向上のためのトレーニング不要アプローチを提案する。 既存のTGDMは、特に複雑なテキストプロンプトやマルチコンセプト属性バインディングの問題を扱う場合、意味的に整合した画像を生成するのに苦労することが多い。 本手法は,生成過程において,相互注意マップを直接最適化することにより,これらの課題に対処する。
• 参考スコア（独自算出の注目度）: 51.42269790543461
• License:
• Abstract: We introduce a novel, training-free approach for enhancing alignment in Transformer-based Text-Guided Diffusion Models (TGDMs). Existing TGDMs often struggle to generate semantically aligned images, particularly when dealing with complex text prompts or multi-concept attribute binding challenges. Previous U-Net-based methods primarily optimized the latent space, but their direct application to Transformer-based architectures has shown limited effectiveness. Our method addresses these challenges by directly optimizing cross-attention maps during the generation process. Specifically, we introduce Self-Coherence Guidance, a method that dynamically refines attention maps using masks derived from previous denoising steps, ensuring precise alignment without additional training. To validate our approach, we constructed more challenging benchmarks for evaluating coarse-grained attribute binding, fine-grained attribute binding, and style binding. Experimental results demonstrate the superior performance of our method, significantly surpassing other state-of-the-art methods across all evaluated tasks. Our code is available at https://scg-diffusion.github.io/scg-diffusion.
• Abstract（参考訳）: 本稿では,トランスフォーマーを用いたテキストガイド拡散モデル(TGDM)におけるアライメント向上のための,新たなトレーニング不要アプローチを提案する。 既存のTGDMは、特に複雑なテキストプロンプトやマルチコンセプト属性バインディングの問題を扱う場合、意味的に整合した画像を生成するのに苦労することが多い。 従来のU-Netベースの手法は主に潜伏空間を最適化していたが、Transformerベースのアーキテクチャへの直接適用は限定的な効果を示した。 本手法は,生成過程において,相互注意マップを直接最適化することにより,これらの課題に対処する。 具体的には,従来の認知段階から派生したマスクを用いて注意マップを動的に洗練し,付加的なトレーニングを伴わずに正確なアライメントを確保する手法であるセルフコヒーレンスガイダンスを紹介する。 提案手法を検証するために, 粗粒度属性バインディング, 細粒度属性バインディング, スタイルバインディングを評価するための, より困難なベンチマークを構築した。 実験の結果,提案手法の優れた性能を示し,全ての評価課題において,他の最先端手法をはるかに上回った。 私たちのコードはhttps://scg-diffusion.github.io/scg-diffusion.ioで公開されています。

関連論文リスト

• Mind the Gap: A Generalized Approach for Cross-Modal Embedding Alignment [0.0]
  Retrieval-Augmented Generation (RAG) システムは、意味的ギャップによって異なるテキストモダリティ間でコンテキストを検索する。 本稿では,これらのギャップを効率的に埋める汎用投影法を提案する。 私たちのアプローチでは、トレーニングや推論に最小限のリソースを必要とするため、スピード、正確性、データ効率を重視しています。
  論文  参考訳（メタデータ） (2024-10-30T20:28:10Z)
• DAWN: Domain-Adaptive Weakly Supervised Nuclei Segmentation via Cross-Task Interactions [17.68742587885609]
  現在の弱い制御された核分割アプローチは、2段階の擬似ラベル生成とネットワークトレーニングプロセスに従う。 本稿では,クロスタスクインタラクション戦略を用いたドメイン適応型弱教師付き核セグメンテーションフレームワークを提案する。 提案手法の有効性を検証するため,6つのデータセットに対して広範囲な比較・アブレーション実験を行った。
  論文  参考訳（メタデータ） (2024-04-23T12:01:21Z)
• Texture, Shape and Order Matter: A New Transformer Design for Sequential DeepFake Detection [57.100891917805086]
  シーケンシャルディープフェイク検出は、順番に操作シーケンスを予測する新しいタスクである。 本稿では, テクスチャ, 形状, 操作順序の3つの視点を探索し, TSOM と呼ばれる新しいトランスフォーマーの設計について述べる。
  論文  参考訳（メタデータ） (2024-04-22T04:47:52Z)
• Masked Generative Story Transformer with Character Guidance and Caption Augmentation [2.1392064955842023]
  ストーリービジュアライゼーションは、生成した画像シーケンス内の異なるフレーム間の視覚的品質と一貫性の両方を必要とする、難しい生成的視覚タスクである。 以前のアプローチでは、イメージシーケンスの自動回帰生成を通してコンテキストを維持するために何らかのメモリメカニズムを使用していたり、文字とその背景の生成を別々にモデル化したりしていた。 我々は,過去と将来のキャプションとのクロスアテンションに頼って整合性を実現する,完全に並列なトランスフォーマーベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-13T13:10:20Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
  本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。 このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。 3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-07-13T11:12:03Z)
• Learning from Bootstrapping and Stepwise Reinforcement Reward: A Semi-Supervised Framework for Text Style Transfer [30.622772801446132]
  テキストスタイル転送のための半教師付きフレームワークを提案する。 まず、擬似並列ペアを自動構築し、教師付きで学習プロセスをブートストラップする。 そして、モデルは強化報酬を通じてラベルなしのデータから学習する。
  論文  参考訳（メタデータ） (2022-05-19T05:18:06Z)
• Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
  現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。 並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。 テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
  論文  参考訳（メタデータ） (2022-04-15T07:38:08Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。