論文の概要: EmoEdit: Evoking Emotions through Image Manipulation

• arxiv url: http://arxiv.org/abs/2405.12661v2
• Date: Sat, 16 Nov 2024 00:21:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:29:19.001656
• Title: EmoEdit: Evoking Emotions through Image Manipulation
• Title（参考訳）: EmoEdit:イメージ操作による感情の誘発
• Authors: Jingyuan Yang, Jiawei Feng, Weibin Luo, Dani Lischinski, Daniel Cohen-Or, Hui Huang,
• Abstract要約: Affective Image Manipulation (AIM) は、特定の感情的な反応を誘発するために、ユーザーが提供する画像を修正しようとする。 本稿では,感情的影響を高めるためにコンテンツ修正を取り入れてAIMを拡張したEmoEditを紹介する。 本手法は定性的かつ定量的に評価され,従来の最先端技術と比較して優れた性能を示す。
• 参考スコア（独自算出の注目度）: 62.416345095776656
• License:
• Abstract: Affective Image Manipulation (AIM) seeks to modify user-provided images to evoke specific emotional responses. This task is inherently complex due to its twofold objective: significantly evoking the intended emotion, while preserving the original image composition. Existing AIM methods primarily adjust color and style, often failing to elicit precise and profound emotional shifts. Drawing on psychological insights, we introduce EmoEdit, which extends AIM by incorporating content modifications to enhance emotional impact. Specifically, we first construct EmoEditSet, a large-scale AIM dataset comprising 40,120 paired data through emotion attribution and data construction. To make existing generative models emotion-aware, we design the Emotion adapter and train it using EmoEditSet. We further propose an instruction loss to capture the semantic variations in data pairs. Our method is evaluated both qualitatively and quantitatively, demonstrating superior performance compared to existing state-of-the-art techniques. Additionally, we showcase the portability of our Emotion adapter to other diffusion-based models, enhancing their emotion knowledge with diverse semantics.
• Abstract（参考訳）: Affective Image Manipulation (AIM) は、特定の感情的な反応を誘発するために、ユーザーが提供する画像を修正しようとする。 このタスクは、2つの目的のために本質的に複雑であり、意図した感情を著しく誘発し、元のイメージ構成を保存する。 既存のAIM手法は主に色とスタイルを調整し、しばしば正確な感情的な変化を誘発しない。 心理学的洞察に基づいて,情緒的影響を高めるためにコンテンツ修正を取り入れ,AIMを拡張したEmoEditを紹介する。 具体的には,感情帰属とデータ構築を通じて40,120対のデータからなる大規模AIMデータセットであるEmoEditSetを構築した。 感情認識モデルを構築するために,感情適応器を設計し,EmoEditSetを用いて学習する。 さらに,データペア内の意味的変動をキャプチャする命令損失を提案する。 本手法は定性的かつ定量的に評価され,従来の最先端技術と比較して優れた性能を示す。 さらに、他の拡散モデルへのEmotion Adapterの移植性を示し、多様な意味論を用いて感情知識を高める。

関連論文リスト

• EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
  マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。 しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。 EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
  論文  参考訳（メタデータ） (2024-06-24T08:33:02Z)
• Make Me Happier: Evoking Emotions Through Image Diffusion Models [36.40067582639123]
  そこで本研究では,感情を刺激するイメージを合成し,本来のシーンのセマンティクスと構造を保ちながら,感情を刺激するイメージを合成することを目的とした,感情誘発画像生成の新たな課題を提案する。 感情編集データセットが不足しているため、34万対の画像とその感情アノテーションからなるユニークなデータセットを提供する。
  論文  参考訳（メタデータ） (2024-03-13T05:13:17Z)
• EmoTalker: Emotionally Editable Talking Face Generation via Diffusion Model [39.14430238946951]
  EmoTalkerは、拡散モデルに基づく感情的に編集可能なポートレートアニメーションアプローチである。 感情インテンシティブロックは、プロンプトから派生したきめ細かい感情や強みを分析するために導入された。 EmoTalkerが高品質で感情的にカスタマイズ可能な表情生成に有効であることを示す実験を行った。
  論文  参考訳（メタデータ） (2024-01-16T02:02:44Z)
• EmoGen: Emotional Image Content Generation with Text-to-Image Diffusion Models [11.901294654242376]
  本稿では,感情カテゴリを与えられた意味的明瞭で感情に忠実な画像を生成するための新しいタスクである感情画像コンテンツ生成(EICG)を紹介する。 具体的には、感情空間を提案し、それを強力なコントラスト言語-画像事前学習(CLIP)空間と整合させるマッピングネットワークを構築する。 本手法は,最先端のテクスト・ツー・イメージ・アプローチを定量的・質的に上回る。
  論文  参考訳（メタデータ） (2024-01-09T15:23:21Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• EmoSet: A Large-scale Visual Emotion Dataset with Rich Attributes [53.95428298229396]
  リッチ属性を付加した最初の大規模視覚感情データセットであるEmoSetを紹介する。 EmoSetは合計330万枚の画像で構成され、そのうち118,102枚は人間のアノテーションによって慎重にラベル付けされている。 心理学的な研究によって動機付けられ、感情のカテゴリに加えて、各画像には記述可能な感情特性のセットが注釈付けされている。
  論文  参考訳（メタデータ） (2023-07-16T06:42:46Z)
• SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
  画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。 異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。 また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
  論文  参考訳（メタデータ） (2021-10-24T02:41:41Z)
• Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
  本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。 我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。 実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-04T08:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。