論文の概要: EmoAttack: Emotion-to-Image Diffusion Models for Emotional Backdoor Generation
- arxiv url: http://arxiv.org/abs/2406.15863v2
- Date: Tue, 25 Mar 2025 16:08:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-26 16:49:44.172446
- Title: EmoAttack: Emotion-to-Image Diffusion Models for Emotional Backdoor Generation
- Title（参考訳）: EmoAttack:感情からイメージへの拡散モデル
- Authors: Tianyu Wei, Shanmin Pang, Qi Guo, Yizhuo Ma, Xiaofeng Cao, Ming-Ming Cheng, Qing Guo,
- Abstract要約: 入力テキスト中の感情を利用して、ネガティブなコンテンツを導入し、ユーザの好ましくない感情を誘発する、テキスト・ツー・イメージの拡散モデルに関連する、これまで見過ごされてきたリスクについて検討する。
具体的には,新たなバックドアアタック,すなわち感情認識型バックドアアタック(EmoAttack)を同定する。
従来のパーソナライズ手法とは異なり,感情的な単語群と悪意のある負のコンテンツを含む参照画像とのマッピングを確立することにより,事前学習した拡散モデルを微調整する。
- 参考スコア（独自算出の注目度）: 48.95229349072138
- License:
- Abstract: Text-to-image diffusion models can generate realistic images based on textual inputs, enabling users to convey their opinions visually through language. Meanwhile, within language, emotion plays a crucial role in expressing personal opinions in our daily lives and the inclusion of maliciously negative content can lead users astray, exacerbating negative emotions. Recognizing the success of diffusion models and the significance of emotion, we investigate a previously overlooked risk associated with text-to-image diffusion models, that is, utilizing emotion in the input texts to introduce negative content and provoke unfavorable emotions in users. Specifically, we identify a new backdoor attack, i.e., emotion-aware backdoor attack (EmoAttack), which introduces malicious negative content triggered by emotional texts during image generation. We formulate such an attack as a diffusion personalization problem to avoid extensive model retraining and propose the EmoBooth. Unlike existing personalization methods, our approach fine-tunes a pre-trained diffusion model by establishing a mapping between a cluster of emotional words and a given reference image containing malicious negative content. To validate the effectiveness of our method, we built a dataset and conducted extensive analysis and discussion about its effectiveness. Given consumers' widespread use of diffusion models, uncovering this threat is critical for society.
- Abstract（参考訳）: テキストと画像の拡散モデルは、テキスト入力に基づいて現実的な画像を生成することができ、ユーザーは言語を通して意見を伝えることができる。
一方、言語の中では、感情は日常生活における個人の意見を表現する上で重要な役割を果たす。
拡散モデルの成功と感情の重要性を認識し,テキストから画像への拡散モデルに関連する既往のリスク,すなわち入力テキストにおける感情を利用して,ネガティブなコンテンツを導入し,ユーザにとって好ましくない感情を誘発する。
具体的には、画像生成中に感情的なテキストによって引き起こされる悪意のあるネガティブなコンテンツをもたらす、感情に敏感なバックドアアタック(EmoAttack)という新たなバックドアアタックを特定する。
拡散パーソナライズ問題としてこのような攻撃を定式化し、広範囲なモデル再訓練を避けるとともに、EmoBoothを提案する。
従来のパーソナライズ手法とは異なり,情緒的単語群と悪意のある負のコンテンツを含む参照画像とのマッピングを確立することにより,事前学習した拡散モデルを微調整する。
提案手法の有効性を検証するため,我々はデータセットを構築し,その有効性について広範な分析と議論を行った。
消費者の拡散モデルの普及を考えると、この脅威を明らかにすることは社会にとって重要である。
関連論文リスト
- EmotiCrafter: Text-to-Emotional-Image Generation based on Valence-Arousal Model [23.26111054485357]
連続感情画像コンテンツ生成(C-EICG)の新たな課題について紹介する。
本稿では,テキストプロンプトとValence-Arousal値に基づいて画像を生成する感情画像生成モデルであるEmotiCrafterを提案する。
論文 参考訳（メタデータ） (2025-01-10T04:41:37Z) - Emotional Images: Assessing Emotions in Images and Potential Biases in Generative Models [0.0]
本稿では、生成人工知能(AI)モデルにより生成された画像の感情的誘発における潜在的なバイアスと矛盾について検討する。
我々は、AIが生成した画像によって誘発される感情と、それらの画像を作成するために使用されるプロンプトによって誘発される感情を比較した。
発見は、AI生成画像が元のプロンプトに関係なく、しばしばネガティブな感情的コンテンツに傾いていることを示している。
論文 参考訳（メタデータ） (2024-11-08T21:42:50Z) - Safeguard Text-to-Image Diffusion Models with Human Feedback Inversion [51.931083971448885]
本稿では,Human Feedback Inversion (HFI) というフレームワークを提案する。
実験の結果,画像品質を維持しながら,好ましくないコンテンツ生成を著しく削減し,公的な領域におけるAIの倫理的展開に寄与することが示された。
論文 参考訳（メタデータ） (2024-07-17T05:21:41Z) - EmoEdit: Evoking Emotions through Image Manipulation [62.416345095776656]
Affective Image Manipulation (AIM) は、特定の感情的な反応を誘発するために、ユーザーが提供する画像を修正しようとする。
本稿では,感情的影響を高めるためにコンテンツ修正を取り入れてAIMを拡張したEmoEditを紹介する。
本手法は定性的かつ定量的に評価され,従来の最先端技術と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2024-05-21T10:18:45Z) - Concept Arithmetics for Circumventing Concept Inhibition in Diffusion Models [58.065255696601604]
拡散モデルの合成特性を使い、単一の画像生成において複数のプロンプトを利用することができる。
本論では, 画像生成の可能なすべてのアプローチを, 相手が適用可能な拡散モデルで検討することが重要であると論じる。
論文 参考訳（メタデータ） (2024-04-21T16:35:16Z) - Make Me Happier: Evoking Emotions Through Image Diffusion Models [36.40067582639123]
そこで本研究では,感情を刺激するイメージを合成し,本来のシーンのセマンティクスと構造を保ちながら,感情を刺激するイメージを合成することを目的とした,感情誘発画像生成の新たな課題を提案する。
感情編集データセットが不足しているため、34万対の画像とその感情アノテーションからなるユニークなデータセットを提供する。
論文 参考訳（メタデータ） (2024-03-13T05:13:17Z) - EmoGen: Emotional Image Content Generation with Text-to-Image Diffusion
Models [11.901294654242376]
本稿では,感情カテゴリを与えられた意味的明瞭で感情に忠実な画像を生成するための新しいタスクである感情画像コンテンツ生成(EICG)を紹介する。
具体的には、感情空間を提案し、それを強力なコントラスト言語-画像事前学習(CLIP)空間と整合させるマッピングネットワークを構築する。
本手法は,最先端のテクスト・ツー・イメージ・アプローチを定量的・質的に上回る。
論文 参考訳（メタデータ） (2024-01-09T15:23:21Z) - High-Level Context Representation for Emotion Recognition in Images [4.987022981158291]
画像から高レベルな文脈表現を抽出する手法を提案する。
このモデルは、この表現と感情を関連付けるために、1つのキューと1つのエンコードストリームに依存している。
我々のアプローチは従来のモデルよりも効率的であり、感情認識に関連する現実の問題に対処するために容易に展開できる。
論文 参考訳（メタデータ） (2023-05-05T13:20:41Z) - Language Does More Than Describe: On The Lack Of Figurative Speech in
Text-To-Image Models [63.545146807810305]
テキスト・ツー・イメージ拡散モデルでは、テキスト入力プロンプトから高品質な画像を生成することができる。
これらのモデルは、コンテンツベースのラベル付けプロトコルから収集されたテキストデータを用いて訓練されている。
本研究では,現在使用されているテキスト・画像拡散モデルのトレーニングに使用されている公開テキストデータの感情性,目的性,抽象化の程度を特徴付ける。
論文 参考訳（メタデータ） (2022-10-19T14:20:05Z) - Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。
本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。
本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
論文 参考訳（メタデータ） (2021-04-20T16:55:15Z) - Facial Expression Editing with Continuous Emotion Labels [76.36392210528105]
深層生成モデルは、自動表情編集の分野で素晴らしい成果を上げている。
連続した2次元の感情ラベルに従って顔画像の表情を操作できるモデルを提案する。
論文 参考訳（メタデータ） (2020-06-22T13:03:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。