論文の概要: VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning

• arxiv url: http://arxiv.org/abs/2404.07078v2
• Date: Tue, 15 Jul 2025 11:18:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 19:46:02.670812
• Title: VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning
• Title（参考訳）: VLLMは、常識推論による感情理解のためのより良いコンテキストを提供する
• Authors: Alexandros Xenos, Niki Maria Foteinopoulou, Ioanna Ntinou, Ioannis Patras, Georgios Tzimiropoulos,
• Abstract要約: 我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。 まず、VLLMに対して、視覚的文脈に関連して、被験者の明らかな感情を自然言語で記述するように促す。 第二に、記述は視覚入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用される。
• 参考スコア（独自算出の注目度）: 66.23296689828152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recognising emotions in context involves identifying an individual's apparent emotions while considering contextual cues from the surrounding scene. Previous approaches to this task have typically designed explicit scene-encoding architectures or incorporated external scene-related information, such as captions. However, these methods often utilise limited contextual information or rely on intricate training pipelines to decouple noise from relevant information. In this work, we leverage the capabilities of Vision-and-Large-Language Models (VLLMs) to enhance in-context emotion classification in a more straightforward manner. Our proposed method follows a simple yet effective two-stage approach. First, we prompt VLLMs to generate natural language descriptions of the subject's apparent emotion in relation to the visual context. Second, the descriptions, along with the visual input, are used to train a transformer-based architecture that fuses text and visual features before the final classification task. This method not only simplifies the training process but also significantly improves performance. Experimental results demonstrate that the textual descriptions effectively guide the model to constrain the noisy visual input, allowing our fused architecture to outperform individual modalities. Our approach achieves state-of-the-art performance across three datasets, BoLD, EMOTIC, and CAER-S, without bells and whistles. The code will be made publicly available on github: https://github.com/NickyFot/EmoCommonSense.git
• Abstract（参考訳）: 文脈における感情の認識には、周囲のシーンからの文脈的手がかりを考慮しながら、個人の明らかな感情を特定することが含まれる。 このタスクに対する以前のアプローチは、典型的には明示的なシーンエンコーディングアーキテクチャを設計したり、キャプションのような外部シーン関連情報を組み込んだりしてきた。 しかし、これらの手法はしばしば限られた文脈情報を利用するか、関連する情報からノイズを分離するために複雑な訓練パイプラインに依存している。 本研究では、VLLM(Vision-and-Language Models)の機能を活用し、より簡単な方法で文脈内感情分類を強化する。 提案手法は単純だが効果的な2段階アプローチである。 まず、VLLMに対して、視覚的文脈に関連して、被験者の明らかな感情を自然言語で記述するように促す。 第二に、記述は視覚入力とともに、最終分類タスクの前にテキストと視覚的特徴を融合するトランスフォーマーベースのアーキテクチャのトレーニングに使用される。 この方法は、トレーニングプロセスを単純化するだけでなく、パフォーマンスを大幅に改善する。 実験の結果、テキスト記述はノイズの多い視覚入力を抑えるために効果的にモデルを導いており、融合したアーキテクチャは個々のモダリティより優れていることがわかった。 本稿では,Bold,EMOTIC,CAER-Sの3つのデータセットに対して,ベルやホイッスルを使わずに最先端のパフォーマンスを実現する。 コードはgithubで公開される。 https://github.com/NickyFot/EmoCommonSense.git

関連論文リスト

• Descriptive Caption Enhancement with Visual Specialists for Multimodal Perception [42.432917056115166]
  大規模マルチモダリティモデルのトレーニングは、画像と言語を接続する記述的なイメージキャプションに依存している。 画像キャプションの強化を目的として, 画像キャプションではなく, 注釈付き画像から訓練した, 市販のビジュアルスペシャリストを活用することを提案する。
  論文  参考訳（メタデータ） (2024-12-18T18:45:43Z)
• Analogist: Out-of-the-box Visual In-Context Learning with Image Diffusion Model [25.47573567479831]
  本稿では,視覚とテキストの両方のプロンプト技術を利用した新しい推論に基づく視覚的ICL手法を提案する。 提案手法はアウト・オブ・ボックスであり,微調整や最適化は不要である。
  論文  参考訳（メタデータ） (2024-05-16T17:59:21Z)
• Universal Multimodal Representation for Language Understanding [110.98786673598015]
  本研究は,一般的なNLPタスクの補助信号として視覚情報を利用する新しい手法を提案する。 各文に対して、まず、既存の文-画像ペア上で抽出された軽トピック-画像検索テーブルから、フレキシブルな画像を検索する。 そして、テキストと画像はそれぞれトランスフォーマーエンコーダと畳み込みニューラルネットワークによって符号化される。
  論文  参考訳（メタデータ） (2023-01-09T13:54:11Z)
• Visually-Augmented Language Modeling [137.36789885105642]
  本稿では,言語モデリングのための関連画像を含むテキストトークンを視覚的に拡張する,VaLMという新しい事前学習フレームワークを提案する。 視覚的に拡張されたコンテキストでは、VaLMは視覚知識融合層を使用してマルチモーダル基底言語モデリングを可能にする。 視覚情報を必要とする多モーダル・コモンセンス推論タスクについて,提案モデルの評価を行った。
  論文  参考訳（メタデータ） (2022-05-20T13:41:12Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)
• SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning [61.57887011165744]
  マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。 視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T03:16:30Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• External Knowledge Augmented Text Visual Question Answering [0.6445605125467573]
  本稿では,視覚言語理解タスクのための標準マルチモーダルトランスフォーマー上で知識を抽出,フィルタリング,エンコードするフレームワークを提案する。 2つの公開データセット上で、最先端のデータセットに匹敵する結果を生成する。
  論文  参考訳（メタデータ） (2021-08-22T13:21:58Z)
• Leveraging Semantic Scene Characteristics and Multi-Stream Convolutional Architectures in a Contextual Approach for Video-Based Visual Emotion Recognition in the Wild [31.40575057347465]
  私たちは、野生のビデオベースの視覚感情認識のタスクに取り組みます。 身体および顔の特徴の抽出のみに依存する標準的な方法論は、しばしば正確な感情予測に欠ける。 我々は、シーンの特徴や属性の形で視覚的コンテキストを活用することで、この問題を軽減することを目指している。
  論文  参考訳（メタデータ） (2021-05-16T17:31:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。