論文の概要: EmoTrace-Bench: Diagnosing Emotional Expression in Text-to-Video Generation through Controlled Cues and Intensity

• arxiv url: http://arxiv.org/abs/2610.15452v1
• Date: Sun, 11 Oct 2026 08:54:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 01:05:06.289407
• Title: EmoTrace-Bench: Diagnosing Emotional Expression in Text-to-Video Generation through Controlled Cues and Intensity
• Title（参考訳）: EmoTrace-Bench:制御キューとインテンシティによるテキスト・ビデオ生成における感情表現の診断
• Abstract要約: EmoTrace-Benchは、感情の強さと選択された感情的手がかりをプロンプトで制御する診断ベンチマークである。 12T2Vモデルを用いて,5,376本のビデオを生成し,目標感情の有無,知覚強度,感情表現の音響的次元を評価する。
• 参考スコア（独自算出の注目度）: 14.47999417865248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-video (T2V) models are increasingly used to generate videos with targeted emotional expressions, yet existing evaluation methods mainly rely on holistic video-text alignment and provide limited insight into whether failures arise from target-emotion expression, intensity control, or specific affective cues. We introduce EmoTrace-Bench, a fine-grained diagnostic benchmark that controls emotion intensity and selected affective cues in prompts and evaluates generated videos at multiple levels. EmoTrace-Bench contains 448 controlled prompts covering eight emotions, two intensity levels, and diverse cue conditions. Using 12 T2V models, we generate 5,376 videos and evaluate target-emotion presence, perceived intensity, and ten audiovisual dimensions of emotional expression with an automated evaluator calibrated and validated against human annotations on a subset of the data. Results reveal substantial differences across models and prompt designs. Prompts that explicitly describe a character's emotional reaction are followed more reliably than prompts that describe only events or scenes, whereas adding more affective cues or using more explicit cinematic audiovisual language does not consistently improve emotional generation. These results illustrate how aggregate alignment scores may overlook localized differences in target-emotion expression, intensity control, and cue realization. EmoTrace-Bench provides a traceable and interpretable framework for diagnosing emotional video generation without modifying existing generation pipelines, and we release the prompts and the automated evaluation rules.
• Abstract（参考訳）: テクスト・トゥ・ビデオ(T2V)モデルは、ターゲットの感情表現を持つビデオを生成するために、ますます使われているが、既存の評価手法は、主に全体論的ビデオテキストアライメントに依存し、ターゲットの感情表現、強度制御、特定の感情的手がかりから失敗が起こるかどうかについての限られた洞察を与える。 EmoTrace-Benchは、感情の強度と選択された感情的手がかりをプロンプトで制御し、生成した動画を複数のレベルで評価する、きめ細かい診断ベンチマークである。 EmoTrace-Benchには、8つの感情、2つの強度レベル、多様なキュー条件をカバーする448の制御プロンプトが含まれている。 12T2Vモデルを用いて、5,376本の動画を生成し、そのサブセット上の人間のアノテーションに対して、自動評価器を用いて、目標感情の有無、知覚強度、および10の感情表現の視覚的次元を評価する。 結果は、モデルとプロンプトデザインの相違を明らかにしている。 キャラクターの感情的な反応を明示するプロンプトは、出来事や場面のみを記述するプロンプトよりも確実にフォローされるが、より感情的な手がかりを追加したり、より明示的な映画的なオーディオヴィジュアル言語を使うことは、感情的な生成を一貫して改善しない。 これらの結果は,集合的アライメントスコアが,目標感情表現,強度制御,キュー実現の局所的差異を見落としていることを示す。 EmoTrace-Benchは、既存の生成パイプラインを変更することなく感情的ビデオ生成を診断するためのトレーサブルで解釈可能なフレームワークを提供し、そのプロンプトと自動評価ルールをリリースする。

関連論文リスト

• FACE-net: Factual Calibration and Emotion Augmentation for Retrieval-enhanced Emotional Video Captioning [81.33341786837974]
  Emotional Video Captioning (EVC) は、ビデオで表現される本質的な感情で事実を記述することを目的とした、新たなタスクである。 FActual and Emotion Augmentation (FACE-net) を用いた検索強化フレームワークを提案する。 FACE-netは、事実と感情のセマンティクスを協調的にマイニングし、生成のための適応的で正確なガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-03-18T07:53:15Z)
• XEmoGPT: An Explainable Multimodal Emotion Recognition Framework with Cue-Level Perception and Reasoning [7.204821736879453]
  XEmoGPT(XEmoGPT)は感情的手がかりに対する知覚と推論の両立が可能な新しいEMERフレームワークである。 我々は,XEmoGPTにマルチモーダルな感情的手がかりを推論する方法を教えるために,大規模なデータセットEmoCueを構築した。 実験結果から,XEmoGPTは感情的キュー知覚と推論の両方において強い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-02-05T09:58:41Z)
• EmoCAST: Emotional Talking Portrait via Emotive Text Description [56.42674612728354]
  EmoCASTは、正確なテキスト駆動感情合成のための拡散ベースのフレームワークである。 外観モデリングでは、感情的なプロンプトはテキスト誘導の分離された感情的モジュールを通して統合される。 EmoCASTは、現実的で感情的に表現され、音声同期されたトーキーヘッドビデオを生成する、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-08-28T10:02:06Z)
• Taming Transformer for Emotion-Controllable Talking Face Generation [61.835295250047196]
  本稿では,感情制御可能な発話顔生成タスクを個別に行うための新しい手法を提案する。 具体的には、2つの事前学習戦略を用いて、音声を独立したコンポーネントに分解し、映像を視覚トークンの組み合わせに定量化する。 我々は、複数の感情的オーディオで調整された映像の感情を制御するMEADデータセット上で実験を行う。
  論文  参考訳（メタデータ） (2025-08-20T02:16:52Z)
• Disentangle Identity, Cooperate Emotion: Correlation-Aware Emotional Talking Portrait Generation [63.94836524433559]
  DICE-Talkは、感情と同一性を切り離し、類似した特徴を持つ感情を協調するフレームワークである。 我々は、モーダル・アテンションを通して、音声と視覚の感情の手がかりを共同でモデル化するアンタングル型感情埋め込み装置を開発した。 次に,学習可能な感情バンクを用いた相関強化感情調和モジュールを提案する。 第3に、拡散過程における感情の一貫性を強制する感情識別目標を設計する。
  論文  参考訳（メタデータ） (2025-04-25T05:28:21Z)
• Enriching Multimodal Sentiment Analysis through Textual Emotional Descriptions of Visual-Audio Content [56.62027582702816]
  マルチモーダル・センティメント・アナリティクスは、テキスト、音声、視覚データを融合することで人間の感情を解き放つことを目指している。 しかし、音声やビデオの表現の中で微妙な感情的なニュアンスを認識することは、恐ろしい挑戦だ。 テキストの感情記述に基づくプログレッシブ・フュージョン・フレームワークであるDEVAを紹介する。
  論文  参考訳（メタデータ） (2024-12-12T11:30:41Z)
• Expansion Quantization Network: An Efficient Micro-emotion Annotation and Detection Framework [2.0209172586699173]
  本稿では,ラベル値をエネルギー強度レベルにマッピングする全ラベルおよびトレーニングセットラベル回帰法を提案する。 これにより、マイクロ感情検出とアノテーションのための感情量子化ネットワーク(EQN)フレームワークが確立された。 EQNフレームワークは、エネルギーレベルスコアで自動マイクロ感情アノテーションを実現する最初のフレームワークである。
  論文  参考訳（メタデータ） (2024-11-09T12:09:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。