論文の概要: FACE-net: Factual Calibration and Emotion Augmentation for Retrieval-enhanced Emotional Video Captioning

• arxiv url: http://arxiv.org/abs/2603.17455v1
• Date: Wed, 18 Mar 2026 07:53:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.575894
• Title: FACE-net: Factual Calibration and Emotion Augmentation for Retrieval-enhanced Emotional Video Captioning
• Title（参考訳）: FACE-net:検索型感情ビデオキャプションのための実効校正と感情増強
• Authors: Weidong Chen, Cheng Ye, Zhendong Mao, Peipei Song, Xinyan Liu, Lei Zhang, Xiaojun Chang, Yongdong Zhang,
• Abstract要約: Emotional Video Captioning (EVC) は、ビデオで表現される本質的な感情で事実を記述することを目的とした、新たなタスクである。 FActual and Emotion Augmentation (FACE-net) を用いた検索強化フレームワークを提案する。 FACE-netは、事実と感情のセマンティクスを協調的にマイニングし、生成のための適応的で正確なガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 81.33341786837974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emotional Video Captioning (EVC) is an emerging task, which aims to describe factual content with the intrinsic emotions expressed in videos. Existing works perceive global emotional cues and then combine with video content to generate descriptions. However, insufficient factual and emotional cues mining and coordination during generation make their methods difficult to deal with the factual-emotional bias, which refers to the factual and emotional requirements being different in different samples on generation. To this end, we propose a retrieval-enhanced framework with FActual Calibration and Emotion augmentation (FACE-net), which through a unified architecture collaboratively mines factual-emotional semantics and provides adaptive and accurate guidance for generation, breaking through the compromising tendency of factual-emotional descriptions in all sample learning. Technically, we firstly introduces an external repository and retrieves the most relevant sentences with the video content to augment the semantic information. Subsequently, our factual calibration via uncertainty estimation module splits the retrieved information into subject-predicate-object triplets, and self-refines and cross-refines different components through video content to effectively mine the factual semantics; while our progressive visual emotion augmentation module leverages the calibrated factual semantics as experts, interacts with the video content and emotion dictionary to generate visual queries and candidate emotions, and then aggregates them to adaptively augment emotions to each factual semantics. Moreover, to alleviate the factual-emotional bias, we design a dynamic bias adjustment routing module to predict and adjust the degree of bias of a sample.
• Abstract（参考訳）: Emotional Video Captioning (EVC) は、ビデオで表現される本質的な感情で事実を記述することを目的とした、新たなタスクである。 既存の作品はグローバルな感情的な手がかりを認識し、ビデオコンテンツと組み合わせて説明を生成する。 しかし、生成中の事実的・感情的な手がかりのマイニングと調整が不十分なため、その手法は、生成上の異なるサンプルで異なる事実的・感情的な要求を示す、事実的・感情的偏見を扱うのが難しくなる。 そこで本研究では,ファクチュアル・キャリブレーションと感情増強(FACE-net)を併用した検索強化フレームワークを提案する。 技術的には、まず外部リポジトリを導入し、最も関連性の高い文章をビデオコンテンツで検索し、意味情報を増強する。 その後、不確実性推定モジュールによるリアルなキャリブレーションは、検索した情報を主観的述語三重項に分割し、ビデオコンテンツを通して異なるコンポーネントを自己精製・横断的に分離し、事実上のセマンティクスをマイニングする。 さらに,実際の感情バイアスを軽減するために,サンプルのバイアスの度合いを予測・調整するための動的バイアス調整ルーティングモジュールを設計する。

関連論文リスト

• EmoCAST: Emotional Talking Portrait via Emotive Text Description [56.42674612728354]
  EmoCASTは、正確なテキスト駆動感情合成のための拡散ベースのフレームワークである。 外観モデリングでは、感情的なプロンプトはテキスト誘導の分離された感情的モジュールを通して統合される。 EmoCASTは、現実的で感情的に表現され、音声同期されたトーキーヘッドビデオを生成する、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-08-28T10:02:06Z)
• Taming Transformer for Emotion-Controllable Talking Face Generation [61.835295250047196]
  本稿では,感情制御可能な発話顔生成タスクを個別に行うための新しい手法を提案する。 具体的には、2つの事前学習戦略を用いて、音声を独立したコンポーネントに分解し、映像を視覚トークンの組み合わせに定量化する。 我々は、複数の感情的オーディオで調整された映像の感情を制御するMEADデータセット上で実験を行う。
  論文  参考訳（メタデータ） (2025-08-20T02:16:52Z)
• Emotion-Qwen: A Unified Framework for Emotion and Vision Understanding [26.36195886824082]
  Emotion-Qwenは、堅牢な感情理解と一般的な推論機能を維持するために同時に設計された統合マルチモーダルフレームワークである。 我々は,40万本以上のビデオクリップに詳細な文脈対応感情記述を付加した大規模バイリンガル・リソースであるビデオ感情推論データセットを開発した。
  論文  参考訳（メタデータ） (2025-05-10T16:15:26Z)
• Contrastive Decoupled Representation Learning and Regularization for Speech-Preserving Facial Expression Manipulation [58.189703277322224]
  音声保存表情操作(SPFEM)は、特定の参照感情を表示するために話頭を変更することを目的としている。 参照およびソース入力に存在する感情とコンテンツ情報は、SPFEMモデルに対して直接的かつ正確な監視信号を提供することができる。 コントラスト学習による指導として、コンテンツと感情の事前学習を提案し、分離されたコンテンツと感情表現を学習する。
  論文  参考訳（メタデータ） (2025-04-08T04:34:38Z)
• Enriching Multimodal Sentiment Analysis through Textual Emotional Descriptions of Visual-Audio Content [56.62027582702816]
  マルチモーダル・センティメント・アナリティクスは、テキスト、音声、視覚データを融合することで人間の感情を解き放つことを目指している。 しかし、音声やビデオの表現の中で微妙な感情的なニュアンスを認識することは、恐ろしい挑戦だ。 テキストの感情記述に基づくプログレッシブ・フュージョン・フレームワークであるDEVAを紹介する。
  論文  参考訳（メタデータ） (2024-12-12T11:30:41Z)
• SPECTRUM: Semantic Processing and Emotion-informed video-Captioning Through Retrieval and Understanding Modalities [0.7510165488300369]
  本稿では,検索・理解モダリティ(SPECTRUM)フレームワークを用いたセマンティック・プロセッシングと感情インフォームド・ビデオキャプションを提案する。 SPECTRUMは、VTAI(Visual Text Attribute Investigation)を用いてマルチモーダルなセマンティクスと感情的なテーマを特定し、記述的キャプションの向きを決定する。 ビデオ・トゥ・テキスト検索機能とビデオコンテンツの多面的特性を利用して、候補キャプションの感情的確率を推定する。
  論文  参考訳（メタデータ） (2024-11-04T10:51:47Z)
• Dual-path Collaborative Generation Network for Emotional Video Captioning [33.230028098522254]
  感情的ビデオキャプション(Emotional Video Captioning)は、ビデオで表現される本質的な感情で事実的コンテンツを記述することを目的とした、新たなタスクである。 既存の感情的ビデオキャプション手法は、最初は世界的視覚的感情的手がかりを認識し、ビデオ機能と組み合わせて感情的キャプション生成を導く。 本稿では、感情的なキャプションを生成しながら、動的に視覚的な感情的手がかりを知覚するデュアルパス協調生成ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T07:30:53Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。