論文の概要: Adaptive Emotional Video Captioning via Affective Heterogeneous Graph Reasoning and Multi-task Joint Learning

• arxiv url: http://arxiv.org/abs/2607.29045v1
• Date: Fri, 31 Jul 2026 05:49:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 16:35:22.219132
• Title: Adaptive Emotional Video Captioning via Affective Heterogeneous Graph Reasoning and Multi-task Joint Learning
• Title（参考訳）: Affective Heterogeneous Graph Reasoning と Multi-task Joint Learning による適応的感情ビデオキャプション
• Abstract要約: 本研究では,多タスク言語モデリングと異種グラフを用いた適応型ECVフレームワークであるSAGMLを提案する。 SAGMLは、カタログレベルの感情ノードと語彙レベルの感情ワードノードを含む、ソフトな感情不均一グラフを構築する。 EVCのエラー耐性とマルチ感情認識のベースラインを提供する。
• 参考スコア（独自算出の注目度）: 26.623474533402575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emotional video captioning (EVC) aims to describe a video with both factual correctness and affective expressiveness. It requires a model to perceive subtle, ambiguous, and temporally varying emotional cues and translate them into natural language without weakening objective visual content. Existing methods have progressively introduced contextual attention, emotion interpretation, emotion priors, dynamic emotion perception and emotion-cause reasoning. Nevertheless, most of them still depend on either global emotion vectors or rigid hierarchical priors. In recent methods, the tree-structured emotion prior establishes a coarse-to-fine connection between psychological emotion categories and daily emotion words, but its hard subordinate masking may irreversibly suppress correct lexical emotions once the coarse category prediction is inaccurate. It is also limited in representing mixed or overlapping emotions that frequently occur in real videos. To address the issues, we propose SAGML, an adaptive EVC framework via affective heterogeneous graph and multi-task language modeling. Instead of treating the emotion prior as a discrete tree, SAGML constructs a soft affective heterogeneous graph containing catalog-level emotion nodes and lexical-level emotion word nodes. The soft gate is injected into video-to-emotion graph attention as a continuous bias, allowing visually supported lexical emotions to remain recoverable rather than being removed by a hard mask. The resulting affective representation is fed together with visual tokens into a causal language decoder, while dual catalog and lexical heads impose explicit emotion distribution learning on the prompt hidden states. The overall model is trained with a joint objective that combines autoregressive caption generation and emotion distribution supervision. SAGML provides an error-resilient and multi-emotion-aware baseline for EVC.
• Abstract（参考訳）: 感情的ビデオキャプション(EVC)は、事実的正しさと感情的表現性の両方でビデオを記述することを目的としている。 微妙で曖昧で、時間的に異なる感情的な手がかりを知覚し、客観的な視覚的内容の弱さを伴わずに自然言語に翻訳するモデルが必要である。 既存の手法は、文脈的注意、感情解釈、感情先行、動的感情知覚、感情起因推論を徐々に導入してきた。 それでも、それらの多くは、大域的な感情ベクトルまたは厳密な階層的先行に依拠している。 近年, 木構造感情は, 感情カテゴリーと日常感情語との粗大な関係を事前に確立しているが, 粗大なカテゴリー予測が不正確であれば, その強固な従属マスキングは正しい語彙感情を不可逆的に抑制する可能性がある。 また、実際のビデオで頻繁に起こる混合または重なり合う感情を表現することに制限される。 この問題に対処するために,情緒的異種グラフとマルチタスク言語モデリングを用いた適応型ECVフレームワークであるSAGMLを提案する。 感情を離散木として扱う代わりに、SAGMLは、カタログレベルの感情ノードと語彙レベルの感情ワードノードを含む、ソフトな感情的異種グラフを構築する。 ソフトゲートは連続バイアスとしてビデオと感情グラフの注意に注入され、ハードマスクによって取り除かれるのではなく、視覚的に支持された語彙的感情が回復可能である。 結果として生じる感情表現は、視覚トークンと共に因果言語デコーダに供給され、二重カタログと語彙ヘッドは、即座に隠された状態について明示的な感情分布学習を課す。 全体モデルは、自己回帰キャプション生成と感情分布の監視を組み合わせた共同目標を用いて訓練される。 SAGMLは、ECVのためのエラー耐性とマルチ感情対応のベースラインを提供する。

関連論文リスト

• Towards Accurate Emotion-Attributed Video Captioning via Fine-grained Emotion-Cause Pair Extraction [47.762139272076126]
  Emotional Video Captioning(EVC)は、ビデオの事実的正確で感情的なリッチな記述を生成することを目的とした課題である。 既存のECV手法では、全体的視覚的特徴を利用して、世界的感情的手がかりを抽出し、マルチモーダルな特徴を集約し、感情的なキャプション生成を導く。 本稿では,感情対応ビデオキャプションのための微粒な感情原因対抽出フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-07T10:43:41Z)
• Cross-Modal Emotion Transfer for Emotion Editing in Talking Face Video [17.472242712450473]
  C-MET(Cross-Modal Emotion Transfer)は、音声に基づく表情を生成する新しい手法である。 本手法は,最先端手法よりも感情の精度を14%向上させる。
  論文  参考訳（メタデータ） (2026-04-09T04:28:03Z)
• FACE-net: Factual Calibration and Emotion Augmentation for Retrieval-enhanced Emotional Video Captioning [81.33341786837974]
  Emotional Video Captioning (EVC) は、ビデオで表現される本質的な感情で事実を記述することを目的とした、新たなタスクである。 FActual and Emotion Augmentation (FACE-net) を用いた検索強化フレームワークを提案する。 FACE-netは、事実と感情のセマンティクスを協調的にマイニングし、生成のための適応的で正確なガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-03-18T07:53:15Z)
• KEVER^2: Knowledge-Enhanced Visual Emotion Reasoning and Retrieval [35.77379981826482]
  感情推論と検索のための知識強化フレームワークである textbfK-EVERtextsuperscript2 を提案する。 本手法では,視覚的感情の意味的構造を定式化し,マルチモーダルアライメントを通じて外部の情緒的知識を統合する。 Emotion6、EmoSet、M-Disasterの3つの代表的なベンチマークで、ソーシャルメディアの画像、人間中心のシーン、災害状況について検証した。
  論文  参考訳（メタデータ） (2025-05-30T08:33:32Z)
• UDDETTS: Unifying Discrete and Dimensional Emotions for Controllable Emotional Text-to-Speech [61.989360995528905]
  制御可能な感情的TTSのための離散的感情と次元的感情を統一する普遍的なフレームワークであるUDDETTSを提案する。 このモデルは、次元的感情記述のための解釈可能なArousal-Dominance-Valence(ADV)空間を導入し、離散的な感情ラベルまたは非線形に定量化されたADV値によって駆動される感情制御をサポートする。 実験の結果, UDDETTSは3次元の線形感情制御を実現し, エンドツーエンドの感情音声合成能力に優れていた。
  論文  参考訳（メタデータ） (2025-05-15T12:57:19Z)
• Disentangle Identity, Cooperate Emotion: Correlation-Aware Emotional Talking Portrait Generation [63.94836524433559]
  DICE-Talkは、感情と同一性を切り離し、類似した特徴を持つ感情を協調するフレームワークである。 我々は、モーダル・アテンションを通して、音声と視覚の感情の手がかりを共同でモデル化するアンタングル型感情埋め込み装置を開発した。 次に,学習可能な感情バンクを用いた相関強化感情調和モジュールを提案する。 第3に、拡散過程における感情の一貫性を強制する感情識別目標を設計する。
  論文  参考訳（メタデータ） (2025-04-25T05:28:21Z)
• EmoSEM: Segment and Explain Emotion Stimuli in Visual Art [25.539022846134543]
  芸術的イメージが与えられたモデルでは、特定の人間の感情をトリガーするピクセル領域をピンポイントし、それに対する言語学的説明を生成する。 本稿では,感情理解能力を持つセグメンテーションフレームワークを実現するために,感情刺激・説明モデル(EmoSEM)モデルを提案する。 本手法は,低レベルの画素特徴から高レベルの感情解釈へのエンド・ツー・エンド・モデリングを実現し,視覚的感情分析のための第1の微粒化フレームワークを提供する。
  論文  参考訳（メタデータ） (2025-04-20T15:40:00Z)
• Dual-path Collaborative Generation Network for Emotional Video Captioning [33.230028098522254]
  感情的ビデオキャプション(Emotional Video Captioning)は、ビデオで表現される本質的な感情で事実的コンテンツを記述することを目的とした、新たなタスクである。 既存の感情的ビデオキャプション手法は、最初は世界的視覚的感情的手がかりを認識し、ビデオ機能と組み合わせて感情的キャプション生成を導く。 本稿では、感情的なキャプションを生成しながら、動的に視覚的な感情的手がかりを知覚するデュアルパス協調生成ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T07:30:53Z)
• Emotion Intensity and its Control for Emotional Voice Conversion [77.05097999561298]
  感情音声変換(EVC)は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変換しようとする。 本稿では,感情の強さを明示的に表現し,制御することを目的とする。 本稿では,話者スタイルを言語内容から切り離し,連続した空間に埋め込み,感情埋め込みのプロトタイプを形成するスタイルに符号化することを提案する。
  論文  参考訳（メタデータ） (2022-01-10T02:11:25Z)
• A Circular-Structured Representation for Visual Emotion Distribution Learning [82.89776298753661]
  視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。 具体的には、まず感情圏を構築し、その内にある感情状態を統一する。 提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
  論文  参考訳（メタデータ） (2021-06-23T14:53:27Z)
• Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
  本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。 本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。 本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
  論文  参考訳（メタデータ） (2021-04-20T16:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。