論文の概要: EmoAttack: Emotion-to-Image Diffusion Models for Emotional Backdoor Generation
- arxiv url: http://arxiv.org/abs/2406.15863v1
- Date: Sat, 22 Jun 2024 14:43:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 20:15:22.595284
- Title: EmoAttack: Emotion-to-Image Diffusion Models for Emotional Backdoor Generation
- Title（参考訳）: EmoAttack:感情からイメージへの拡散モデル
- Authors: Tianyu Wei, Shanmin Pang, Qi Guo, Yizhuo Ma, Qing Guo,
- Abstract要約: 拡散モデルを用いて画像を生成することによる、未認識かつ潜伏的なリスクを明らかにした。
入力テキスト中の感情を利用して、ネガティブな内容を導入し、ユーザから好ましくない感情を引き出す可能性がある。
- 参考スコア（独自算出の注目度）: 9.353490683922665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-image diffusion models can create realistic images based on input texts. Users can describe an object to convey their opinions visually. In this work, we unveil a previously unrecognized and latent risk of using diffusion models to generate images; we utilize emotion in the input texts to introduce negative contents, potentially eliciting unfavorable emotions in users. Emotions play a crucial role in expressing personal opinions in our daily interactions, and the inclusion of maliciously negative content can lead users astray, exacerbating negative emotions. Specifically, we identify the emotion-aware backdoor attack (EmoAttack) that can incorporate malicious negative content triggered by emotional texts during image generation. We formulate such an attack as a diffusion personalization problem to avoid extensive model retraining and propose the EmoBooth. Unlike existing personalization methods, our approach fine-tunes a pre-trained diffusion model by establishing a mapping between a cluster of emotional words and a given reference image containing malicious negative content. To validate the effectiveness of our method, we built a dataset and conducted extensive analysis and discussion about its effectiveness. Given consumers' widespread use of diffusion models, uncovering this threat is critical for society.
- Abstract（参考訳）: テキストから画像への拡散モデルでは、入力されたテキストに基づいてリアルな画像を作成することができる。
ユーザーは自分の意見を視覚的に伝えるオブジェクトを記述することができる。
本研究は,拡散モデルを用いて画像を生成することによる,未認識かつ潜伏的なリスクを明らかにし,入力テキスト中の感情を利用してネガティブな内容を導入し,ユーザから好ましくない感情を引き出す。
感情は、日々のやりとりにおいて個人的意見を表現する上で重要な役割を担い、悪意のあるネガティブなコンテンツを含めることで、ユーザーを混乱させ、ネガティブな感情を悪化させます。
具体的には、画像生成中に感情テキストによって引き起こされる悪意のあるネガティブコンテンツを組み込むことができる感情認識バックドアアタック(EmoAttack)を特定する。
拡散パーソナライズ問題としてこのような攻撃を定式化し、広範囲なモデル再訓練を避けるとともに、EmoBoothを提案する。
従来のパーソナライズ手法とは異なり,情緒的単語群と悪意のある負のコンテンツを含む参照画像とのマッピングを確立することにより,事前学習した拡散モデルを微調整する。
提案手法の有効性を検証するため,我々はデータセットを構築し,その有効性について広範な分析と議論を行った。
消費者の拡散モデルの普及を考えると、この脅威を明らかにすることは社会にとって重要である。
関連論文リスト
- Emotional Images: Assessing Emotions in Images and Potential Biases in Generative Models [0.0]
本稿では、生成人工知能(AI)モデルにより生成された画像の感情的誘発における潜在的なバイアスと矛盾について検討する。
我々は、AIが生成した画像によって誘発される感情と、それらの画像を作成するために使用されるプロンプトによって誘発される感情を比較した。
発見は、AI生成画像が元のプロンプトに関係なく、しばしばネガティブな感情的コンテンツに傾いていることを示している。
論文 参考訳（メタデータ） (2024-11-08T21:42:50Z) - Safeguard Text-to-Image Diffusion Models with Human Feedback Inversion [51.931083971448885]
本稿では,Human Feedback Inversion (HFI) というフレームワークを提案する。
実験の結果,画像品質を維持しながら,好ましくないコンテンツ生成を著しく削減し,公的な領域におけるAIの倫理的展開に寄与することが示された。
論文 参考訳（メタデータ） (2024-07-17T05:21:41Z) - EmoEdit: Evoking Emotions through Image Manipulation [62.416345095776656]
Affective Image Manipulation (AIM) は、特定の感情的な反応を誘発するために、ユーザーが提供する画像を修正しようとする。
本稿では,感情的影響を高めるためにコンテンツ修正を取り入れてAIMを拡張したEmoEditを紹介する。
本手法は定性的かつ定量的に評価され,従来の最先端技術と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2024-05-21T10:18:45Z) - Concept Arithmetics for Circumventing Concept Inhibition in Diffusion Models [58.065255696601604]
拡散モデルの合成特性を使い、単一の画像生成において複数のプロンプトを利用することができる。
本論では, 画像生成の可能なすべてのアプローチを, 相手が適用可能な拡散モデルで検討することが重要であると論じる。
論文 参考訳（メタデータ） (2024-04-21T16:35:16Z) - Make Me Happier: Evoking Emotions Through Image Diffusion Models [36.40067582639123]
そこで本研究では,感情を刺激するイメージを合成し,本来のシーンのセマンティクスと構造を保ちながら,感情を刺激するイメージを合成することを目的とした,感情誘発画像生成の新たな課題を提案する。
感情編集データセットが不足しているため、34万対の画像とその感情アノテーションからなるユニークなデータセットを提供する。
論文 参考訳（メタデータ） (2024-03-13T05:13:17Z) - EmoTalker: Emotionally Editable Talking Face Generation via Diffusion
Model [39.14430238946951]
EmoTalkerは、拡散モデルに基づく感情的に編集可能なポートレートアニメーションアプローチである。
感情インテンシティブロックは、プロンプトから派生したきめ細かい感情や強みを分析するために導入された。
EmoTalkerが高品質で感情的にカスタマイズ可能な表情生成に有効であることを示す実験を行った。
論文 参考訳（メタデータ） (2024-01-16T02:02:44Z) - EmoGen: Emotional Image Content Generation with Text-to-Image Diffusion
Models [11.901294654242376]
本稿では,感情カテゴリを与えられた意味的明瞭で感情に忠実な画像を生成するための新しいタスクである感情画像コンテンツ生成(EICG)を紹介する。
具体的には、感情空間を提案し、それを強力なコントラスト言語-画像事前学習(CLIP)空間と整合させるマッピングネットワークを構築する。
本手法は,最先端のテクスト・ツー・イメージ・アプローチを定量的・質的に上回る。
論文 参考訳（メタデータ） (2024-01-09T15:23:21Z) - High-Level Context Representation for Emotion Recognition in Images [4.987022981158291]
画像から高レベルな文脈表現を抽出する手法を提案する。
このモデルは、この表現と感情を関連付けるために、1つのキューと1つのエンコードストリームに依存している。
我々のアプローチは従来のモデルよりも効率的であり、感情認識に関連する現実の問題に対処するために容易に展開できる。
論文 参考訳（メタデータ） (2023-05-05T13:20:41Z) - Language Does More Than Describe: On The Lack Of Figurative Speech in
Text-To-Image Models [63.545146807810305]
テキスト・ツー・イメージ拡散モデルでは、テキスト入力プロンプトから高品質な画像を生成することができる。
これらのモデルは、コンテンツベースのラベル付けプロトコルから収集されたテキストデータを用いて訓練されている。
本研究では,現在使用されているテキスト・画像拡散モデルのトレーニングに使用されている公開テキストデータの感情性,目的性,抽象化の程度を特徴付ける。
論文 参考訳（メタデータ） (2022-10-19T14:20:05Z) - Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。
本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。
本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
論文 参考訳（メタデータ） (2021-04-20T16:55:15Z) - Facial Expression Editing with Continuous Emotion Labels [76.36392210528105]
深層生成モデルは、自動表情編集の分野で素晴らしい成果を上げている。
連続した2次元の感情ラベルに従って顔画像の表情を操作できるモデルを提案する。
論文 参考訳（メタデータ） (2020-06-22T13:03:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。