論文の概要: Discovering Universal Semantic Triggers for Text-to-Image Synthesis

• arxiv url: http://arxiv.org/abs/2402.07562v1
• Date: Mon, 12 Feb 2024 10:56:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 18:19:45.316860
• Title: Discovering Universal Semantic Triggers for Text-to-Image Synthesis
• Title（参考訳）: テキストから画像への合成のためのユニバーサルセマンティクストリガーの発見
• Authors: Shengfang Zhai, Weilong Wang, Jiajun Li, Yinpeng Dong, Hang Su and Qingni Shen
• Abstract要約: 入力テキスト内の任意の場所に付加できるトークンシーケンスであるUniversal Semantic Triggerを導入する。 我々の研究は、テキストと画像の合成のさらなる理解に寄与し、ユーザがデプロイ前にモデルを自動的に監査するのに役立つ。
• 参考スコア（独自算出の注目度）: 29.43615017915006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently text-to-image models have gained widespread attention in the community due to their controllable and high-quality generation ability. However, the robustness of such models and their potential ethical issues have not been fully explored. In this paper, we introduce Universal Semantic Trigger, a meaningless token sequence that can be added at any location within the input text yet can induce generated images towards a preset semantic target.To thoroughly investigate it, we propose Semantic Gradient-based Search (SGS) framework. SGS automatically discovers the potential universal semantic triggers based on the given semantic targets. Furthermore, we design evaluation metrics to comprehensively evaluate semantic shift of images caused by these triggers. And our empirical analyses reveal that the mainstream open-source text-to-image models are vulnerable to our triggers, which could pose significant ethical threats. Our work contributes to a further understanding of text-to-image synthesis and helps users to automatically auditing their models before deployment.
• Abstract（参考訳）: 近年、テキストから画像へのモデルは、制御可能で高品質な生成能力のため、コミュニティで広く注目を集めている。 しかし、そのようなモデルの堅牢性とその潜在的な倫理的問題は十分に検討されていない。 本稿では,入力テキスト内の任意の場所で追加可能でありながら,予め設定された意味的対象に対して生成画像を誘導できる意味のないトークンシーケンスであるuniversal semantic triggerを提案する。 SGSは、与えられたセマンティックターゲットに基づいて、潜在的に普遍的なセマンティックトリガーを自動的に発見する。 さらに,これらのトリガによる画像のセマンティックシフトを包括的に評価する評価指標を設計する。 そして、我々の実証分析によって、主流のオープンソーステキスト・ツー・イメージモデルが私たちのトリガーに弱いことがわかりました。 我々の研究は、テキストと画像の合成のさらなる理解に寄与し、ユーザがデプロイ前にモデルを自動的に監査するのに役立つ。

関連論文リスト

• On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [49.60774626839712]
  マルチモーダル生成モデルは 彼らの公正さ、信頼性、そして誤用の可能性について 批判的な議論を呼んだ 組込み空間における摂動に対する応答を通じてモデルの信頼性を評価するための評価フレームワークを提案する。 本手法は, 信頼できない, バイアス注入されたモデルを検出し, バイアス前駆体の検索を行うための基礎となる。
  論文  参考訳（メタデータ） (2024-11-21T09:46:55Z)
• KITTEN: A Knowledge-Intensive Evaluation of Image Generation on Visual Entities [93.74881034001312]
  テキスト・画像生成モデルにおける実体の忠実度に関する系統的研究を行う。 我々はランドマークの建物、航空機、植物、動物など、幅広い現実世界の視覚的実体を生成する能力に焦点をあてる。 その結果、最も高度なテキスト・画像モデルでさえ、正確な視覚的詳細を持つエンティティを生成できないことが判明した。
  論文  参考訳（メタデータ） (2024-10-15T17:50:37Z)
• SteerDiff: Steering towards Safe Text-to-Image Diffusion Models [5.781285400461636]
  テキスト・ツー・イメージ(T2I)拡散モデルは不適切なコンテンツを生成するために誤用することができる。 本稿では,ユーザ入力と拡散モデルの間の仲介として機能する軽量適応モジュールであるSteerDiffを紹介する。 提案手法の有効性を評価するために,様々な概念の未学習タスクに対して広範な実験を行う。
  論文  参考訳（メタデータ） (2024-10-03T17:34:55Z)
• Prompt-Consistency Image Generation (PCIG): A Unified Framework Integrating LLMs, Knowledge Graphs, and Controllable Diffusion Models [20.19571676239579]
  生成した画像と対応する記述とのアライメントを強化するための,拡散に基づく新しいフレームワークを提案する。 この枠組みは不整合現象の包括的解析に基づいて構築され,画像の表示に基づいて分類する。 次に、最先端の制御可能な画像生成モデルとビジュアルテキスト生成モジュールを統合し、元のプロンプトと整合した画像を生成する。
  論文  参考訳（メタデータ） (2024-06-24T06:12:16Z)
• Vision-Language Synthetic Data Enhances Echocardiography Downstream Tasks [4.1942958779358674]
  本稿では,近年の視覚言語モデルを用いて,多彩でリアルな人工心エコー画像データを作成する。 合成データに含まれるリッチな文脈情報は、下流タスクの精度と解釈可能性を高める可能性があることを示す。
  論文  参考訳（メタデータ） (2024-03-28T23:26:45Z)
• Likelihood-Based Text-to-Image Evaluation with Patch-Level Perceptual and Semantic Credit Assignment [48.835298314274254]
  生成した画像の可能性を直接推定し,テキスト・画像生成性能を評価する。 高い確率は、知覚品質が向上し、テキスト画像のアライメントが向上することを示している。 これらのモデルの生成能力を、数百のサンプルで評価することができる。
  論文  参考訳（メタデータ） (2023-08-16T17:26:47Z)
• Generalizable Synthetic Image Detection via Language-guided Contrastive Learning [22.4158195581231]
  偽ニュースの拡散や偽のプロフィールの作成などの合成画像の真偽の使用は、画像の真正性に関する重要な懸念を提起する。 本稿では,言語指導によるコントラスト学習と検出問題の新たな定式化による,シンプルで効果的な合成画像検出手法を提案する。 提案したLanguAge-guided SynThEsis Detection (LASTED) モデルでは,画像生成モデルに対する一般化性が大幅に向上していることが示されている。
  論文  参考訳（メタデータ） (2023-05-23T08:13:27Z)
• Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models [103.61066310897928]
  最近のテキスト・ツー・イメージ生成モデルは、ターゲットのテキスト・プロンプトによって導かれる多様な創造的な画像を生成する非例外的な能力を実証している。 革命的ではあるが、現在の最先端拡散モデルは、与えられたテキストプロンプトのセマンティクスを完全に伝達するイメージの生成に失敗する可能性がある。 本研究では, 一般に公開されている安定拡散モデルを分析し, 破滅的無視の有無を評価し, そのモデルが入力プロンプトから1つ以上の被写体を生成するのに失敗した場合について検討する。 提案するジェネレーティブ・セマンティック・ナーシング(GSN)の概念は、推論時間中にハエの生殖過程に介入し、忠実性を改善するものである。
  論文  参考訳（メタデータ） (2023-01-31T18:10:38Z)
• More Control for Free! Image Synthesis with Semantic Diffusion Guidance [79.88929906247695]
  制御可能な画像合成モデルは、サンプル画像からテキスト命令やガイダンスに基づいて多様な画像を作成することができる。 セマンティックな拡散誘導のための新しい統合フレームワークを導入し、言語や画像の誘導、あるいはその両方を可能にした。 FFHQとLSUNのデータセットで実験を行い、微細なテキスト誘導画像合成結果を示す。
  論文  参考訳（メタデータ） (2021-12-10T18:55:50Z)
• Cycle-Consistent Inverse GAN for Text-to-Image Synthesis [101.97397967958722]
  本稿では,テキスト・ツー・イメージ・ジェネレーションとテキスト・ガイドによる画像操作を行うために,Cycle-Consistent Inverse GANの統一フレームワークを提案する。 我々は、GANの反転モデルを学び、画像をGANの潜在空間に変換し、各画像の反転潜在符号を得る。 テキスト誘導最適化モジュールでは、反転潜在符号を最適化することにより、所望のセマンティック属性を持つ画像を生成する。
  論文  参考訳（メタデータ） (2021-08-03T08:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。