Fugu-MT 論文翻訳(概要): Emotion Understanding in Videos Through Body, Context, and Visual-Semantic Embedding Loss

論文の概要: Emotion Understanding in Videos Through Body, Context, and Visual-Semantic Embedding Loss

arxiv url: http://arxiv.org/abs/2010.16396v1
Date: Fri, 30 Oct 2020 17:48:42 GMT
ステータス: 処理完了
システム内更新日: 2022-10-01 17:03:28.487470
Title: Emotion Understanding in Videos Through Body, Context, and Visual-Semantic Embedding Loss
Title（参考訳）: 身体, 文脈, 視覚的セマンティック・エンベッドによる映像の感情理解
Authors: Panagiotis Paraskevas Filntisis and Niki Efthymiou and Gerasimos Potamianos and Petros Maragos
Abstract要約: 我々は,第1回身体表現的感情理解国際ワークショップ(BEEU)に応募する。近年の文脈・環境が感情に与える影響に関する文献に基づいて,時間セグメントネットワークの枠組みを拡張した。本手法はBody Language dataset(BOLD)の検証セット上で検証され,テストセット上で0.26235感情認識スコアを達成し,前回の0.2530を上回った。
参考スコア（独自算出の注目度）: 42.789372692286484
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present our winning submission to the First International Workshop on Bodily Expressed Emotion Understanding (BEEU) challenge. Based on recent literature on the effect of context/environment on emotion, as well as visual representations with semantic meaning using word embeddings, we extend the framework of Temporal Segment Network to accommodate these. Our method is verified on the validation set of the Body Language Dataset (BoLD) and achieves 0.26235 Emotion Recognition Score on the test set, surpassing the previous best result of 0.2530.
Abstract（参考訳）: 我々は,bodily expressed emotion understanding (beeu) challengeに関する第1回国際ワークショップの優勝作品を紹介する。近年の文脈/環境が感情に与える影響と,単語埋め込みを用いた意味的意味を持つ視覚表現に基づいて,時間セグメントネットワークの枠組みを拡張した。本手法は,Body Language Dataset (BOLD) の検証セット上で検証し,テストセット上で0.26235感情認識スコアを達成し,前回の0.2530を上回った。

関連論文リスト

Improving Speech-based Emotion Recognition with Contextual Utterance Analysis and LLMs [2.8728982844941178]
音声感情認識(SER)は、音声言語から感情状態を特定することに焦点を当てている。データ信頼性を確保するために、まず利用可能なすべての書き起こしを改良する新しいアプローチを提案する。次に、各会話をより小さな対話に分割し、これらの対話を文脈として使用し、対話内のターゲット発話の感情を予測する。
論文参考訳（メタデータ） (2024-10-27T04:23:34Z)
ICCV23 Visual-Dialog Emotion Explanation Challenge: SEU_309 Team Technical Report [0.0]
我々のアプローチは、言語モデル(LM)やLVLM(Large Vision Language Model)を含む最先端のマルチモーダルモデルを組み合わせる。これらのモデルを活用することで、既存のベンチマークを上回り、ICCV23 Visual-Dialog Based Emotion Explanation Generation Challengeの上位ランクを確保します。
論文参考訳（メタデータ） (2024-07-13T03:39:41Z)
EmoVIT: Revolutionizing Emotion Insights with Visual Instruction Tuning [26.95442405140093]
本研究は,情緒的文脈に関連する指導の理解と定着におけるモデルの能力向上に焦点を当てる。本稿では,感情の視覚的インストラクションデータを生成するための新しいGPT支援パイプラインを提案する。提案するEmoVITアーキテクチャは感情固有の命令データを組み込んで,大規模言語モデルの強力な機能を活用している。
論文参考訳（メタデータ） (2024-04-25T15:15:36Z)
VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。第1段階では、VLLMが対象者の明らかな感情の自然言語で記述を生成できるように促すことを提案する。第2段階では、記述を文脈情報として使用し、画像入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用する。
論文参考訳（メタデータ） (2024-04-10T15:09:15Z)
VISU at WASSA 2023 Shared Task: Detecting Emotions in Reaction to News Stories Leveraging BERT and Stacked Embeddings [3.797177597247675]
我々のシステムVISUは、ニュース記事に反応して書かれたエッセイから感情分類の共有タスク (3) に参加した。本研究は,単語埋め込み表現と事前設定戦略を組み合わせた深層学習(DL)モデルの開発に重点を置いている。
論文参考訳（メタデータ） (2023-07-27T19:42:22Z)
Mutilmodal Feature Extraction and Attention-based Fusion for Emotion Estimation in Videos [16.28109151595872]
ABAW(Affective Behavior Analysis in the-wild)に関するCVPR 2023コンペティションについて紹介する。我々は、音声、ポーズ、画像など、競合データセットから異なる長さのビデオから抽出したマルチモーダル特徴を利用した。本システムでは,検証データセット上での0.361の性能を実現する。
論文参考訳（メタデータ） (2023-03-18T14:08:06Z)
Seeking Subjectivity in Visual Emotion Distribution Learning [93.96205258496697]
視覚感情分析(VEA)は、人々の感情を異なる視覚刺激に向けて予測することを目的としている。既存の手法では、集団投票プロセスにおいて固有の主観性を無視して、統合されたネットワークにおける視覚的感情分布を予測することが多い。視覚的感情分布の主観性を調べるために,新しいテキストサブジェクティビティ評価ネットワーク(SAMNet)を提案する。
論文参考訳（メタデータ） (2022-07-25T02:20:03Z)
SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
論文参考訳（メタデータ） (2021-10-24T02:41:41Z)
Affective Image Content Analysis: Two Decades Review and New Perspectives [132.889649256384]
我々は,過去20年間の情緒的イメージコンテンツ分析(AICA)の発展を包括的にレビューする。我々は、感情的ギャップ、知覚主観性、ラベルノイズと欠如という3つの主要な課題に関して、最先端の手法に焦点を当てる。画像の内容やコンテキスト理解,グループ感情クラスタリング,ビューアーとイメージのインタラクションなど,今後の課題や研究の方向性について論じる。
論文参考訳（メタデータ） (2021-06-30T15:20:56Z)
A Deep Neural Framework for Contextual Affect Detection [51.378225388679425]
感情を持たない短い単純なテキストは、その文脈と共に読むときに強い感情を表現することができる。文中の単語の相互依存を学習する文脈影響検出フレームワークを提案する。
論文参考訳（メタデータ） (2020-01-28T05:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。