論文の概要: How you feelin'? Learning Emotions and Mental States in Movie Scenes

• arxiv url: http://arxiv.org/abs/2304.05634v1
• Date: Wed, 12 Apr 2023 06:31:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 15:57:36.761357
• Title: How you feelin'? Learning Emotions and Mental States in Movie Scenes
• Title（参考訳）: 気分はどうですか? 映画シーンにおける感情と精神状態の学習
• Authors: Dhruv Srivastava and Aditya Kumar Singh and Makarand Tapaswi
• Abstract要約: 我々は、感情理解を、映画シーンのレベルで多様なマルチラベルの感情の集合を予測するものとして定式化する。 EmoTxはマルチモーダルトランスフォーマーベースのアーキテクチャで、ビデオ、複数の文字、ダイアログの発話を取り込み、共同予測を行う。
• 参考スコア（独自算出の注目度）: 9.368590075496149
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Movie story analysis requires understanding characters' emotions and mental states. Towards this goal, we formulate emotion understanding as predicting a diverse and multi-label set of emotions at the level of a movie scene and for each character. We propose EmoTx, a multimodal Transformer-based architecture that ingests videos, multiple characters, and dialog utterances to make joint predictions. By leveraging annotations from the MovieGraphs dataset, we aim to predict classic emotions (e.g. happy, angry) and other mental states (e.g. honest, helpful). We conduct experiments on the most frequently occurring 10 and 25 labels, and a mapping that clusters 181 labels to 26. Ablation studies and comparison against adapted state-of-the-art emotion recognition approaches shows the effectiveness of EmoTx. Analyzing EmoTx's self-attention scores reveals that expressive emotions often look at character tokens while other mental states rely on video and dialog cues.
• Abstract（参考訳）: 映画のストーリー分析にはキャラクターの感情や精神状態を理解する必要がある。 この目標に向けて,映画シーンのレベルと各キャラクタに対する多様な多ラベル感情の集合を予測するものとして感情理解を定式化する。 本研究では,ビデオ,複数文字,対話発話を取り込み,共同予測を行うマルチモーダルトランスフォーマティブアーキテクチャであるemotxを提案する。 MovieGraphsデータセットからのアノテーションを利用することで、古典的な感情(例えば、幸福、怒り)や他の精神状態(例えば、正直、役に立つ)を予測することを目指している。 最も頻繁に発生する10と25のラベルについて実験を行い、181のラベルを26にクラスタするマッピングを行った。 EmoTxの有効性は、最先端の感情認識アプローチに対するアブレーション研究と比較によって示される。 EmoTxの自己注意スコアを分析すると、表現的な感情がしばしば文字トークンを見るのに対し、他の精神状態はビデオやダイアログの手がかりに依存することが分かる。

関連論文リスト

• Language Models (Mostly) Do Not Consider Emotion Triggers When Predicting Emotion [87.18073195745914]
  人間の感情が感情の予測において有意であると考えられる特徴とどのように相関するかを検討する。 EmoTriggerを用いて、感情のトリガーを識別する大規模言語モデルの能力を評価する。 分析の結果、感情のトリガーは感情予測モデルにとって健全な特徴ではなく、様々な特徴と感情検出のタスクの間に複雑な相互作用があることが判明した。
  論文  参考訳（メタデータ） (2023-11-16T06:20:13Z)
• Why Do You Feel This Way? Summarizing Triggers of Emotions in Social Media Posts [61.723046082145416]
  CovidET (Emotions and their Triggers during Covid-19)は、COVID-19に関連する英国のReddit投稿1,900件のデータセットである。 我々は、感情を共同で検出し、感情のトリガーを要約する強力なベースラインを開発する。 分析の結果,コビデットは感情特異的要約における新たな課題と,長文のソーシャルメディア投稿におけるマルチ感情検出の課題が示唆された。
  論文  参考訳（メタデータ） (2022-10-22T19:10:26Z)
• Experiencer-Specific Emotion and Appraisal Prediction [13.324006587838523]
  NLPにおける感情分類は、文章や段落などの感情をテキストに割り当てる。 イベントの経験に焦点を合わせ、各イベントに感情(もしあれば)を割り当てます。 経験者の感情と評価のモデルが経験者に依存しないベースラインより優れています。
  論文  参考訳（メタデータ） (2022-10-21T16:04:27Z)
• Speech Synthesis with Mixed Emotions [77.05097999561298]
  異なる感情の音声サンプル間の相対的な差を測定する新しい定式化を提案する。 次に、私たちの定式化を、シーケンスからシーケンスまでの感情的なテキストから音声へのフレームワークに組み込む。 実行時に、感情属性ベクトルを手動で定義し、所望の感情混合を生成するためにモデルを制御する。
  論文  参考訳（メタデータ） (2022-08-11T15:45:58Z)
• MAFW: A Large-scale, Multi-modal, Compound Affective Database for Dynamic Facial Expression Recognition in the Wild [56.61912265155151]
  大規模複合感情データベースMAFWを提案する。 各クリップには、複雑な感情カテゴリーと、クリップ内の被験者の感情行動を記述する2つの文が注釈付けされている。 複合感情のアノテーションでは、それぞれのクリップは、怒り、嫌悪感、恐怖、幸福、中立、悲しみ、驚き、軽蔑、不安、無力感、失望など、広く使われている11の感情のうちの1つ以上に分類される。
  論文  参考訳（メタデータ） (2022-08-01T13:34:33Z)
• x-enVENT: A Corpus of Event Descriptions with Experiencer-specific Emotion and Appraisal Annotations [13.324006587838523]
  感情分析のための分類設定は、感情のエピソードに関与する異なる意味的役割を含む統合的な方法で行うべきであると論じる。 心理学における評価理論に基づいて、我々は、記述された出来事記述の英文コーパスを編纂する。 この記述には感情に満ちた状況が描かれており、感情に反応した人々の言及が含まれている。
  論文  参考訳（メタデータ） (2022-03-21T12:02:06Z)
• Emotion Intensity and its Control for Emotional Voice Conversion [77.05097999561298]
  感情音声変換(EVC)は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変換しようとする。 本稿では,感情の強さを明示的に表現し,制御することを目的とする。 本稿では,話者スタイルを言語内容から切り離し,連続した空間に埋め込み,感情埋め込みのプロトタイプを形成するスタイルに符号化することを提案する。
  論文  参考訳（メタデータ） (2022-01-10T02:11:25Z)
• A Circular-Structured Representation for Visual Emotion Distribution Learning [82.89776298753661]
  視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。 具体的には、まず感情圏を構築し、その内にある感情状態を統一する。 提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
  論文  参考訳（メタデータ） (2021-06-23T14:53:27Z)
• Emotion Dynamics in Movie Dialogues [25.289525325790414]
  発話を通して感情のダイナミクスを追跡する枠組みを提案する。 我々はこの手法を用いて、映画キャラクタの感情的弧をトレースする。 このような何千もの文字アークを分析し、ストーリーのより広い理解を知らせる仮説をテストします。
  論文  参考訳（メタデータ） (2021-03-01T23:02:16Z)
• Fine-grained Emotion and Intent Learning in Movie Dialogues [1.2891210250935146]
  OpenSubtitlesコーパスから取得した1Mの対話からなる、新しい大規模感情対話データセットを提案する。 本研究は,映画の字幕の前処理や,アノテートに優れた映画対話の選択に使用される複雑なパイプラインを説明する。 このような感情対話の分類は、データセットのサイズと微粒な感情と意図のカテゴリーの両方において試みられたことがない。
  論文  参考訳（メタデータ） (2020-12-25T20:29:56Z)
• PO-EMO: Conceptualization, Annotation, and Modeling of Aesthetic Emotions in German and English Poetry [26.172030802168752]
  我々は、詩の中の感情を、文章で表現されるものや著者が意図するものよりも、読者に誘惑されるものとして考える。 我々は,読者の審美的評価を予測可能な審美感情の集合を概念化し,各行に複数ラベルの注釈を付けることで,その文脈内での混合感情を捉えることができる。
  論文  参考訳（メタデータ） (2020-03-17T13:54:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。