論文の概要: Beyond Vision: How Large Language Models Interpret Facial Expressions from Valence-Arousal Values

• arxiv url: http://arxiv.org/abs/2502.06875v1
• Date: Sat, 08 Feb 2025 09:54:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:10:50.944811
• Title: Beyond Vision: How Large Language Models Interpret Facial Expressions from Valence-Arousal Values
• Title（参考訳）: ビジョンを超えて: 大規模言語モデルはいかに、価値と興奮の値から顔の表現を解釈するか
• Authors: Vaibhav Mehra, Guy Laban, Hatice Gunes,
• Abstract要約: 大規模言語モデルは、主にテキストベースの入力と出力によって操作されるが、人間の感情は、表情を含む言語的および非言語的な手がかりによって伝達される。 本研究では,LLMが生の視覚的入力を使わずに,表情の次元から感情的意味を推定できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 6.987852837732702
• License:
• Abstract: Large Language Models primarily operate through text-based inputs and outputs, yet human emotion is communicated through both verbal and non-verbal cues, including facial expressions. While Vision-Language Models analyze facial expressions from images, they are resource-intensive and may depend more on linguistic priors than visual understanding. To address this, this study investigates whether LLMs can infer affective meaning from dimensions of facial expressions-Valence and Arousal values, structured numerical representations, rather than using raw visual input. VA values were extracted using Facechannel from images of facial expressions and provided to LLMs in two tasks: (1) categorizing facial expressions into basic (on the IIMI dataset) and complex emotions (on the Emotic dataset) and (2) generating semantic descriptions of facial expressions (on the Emotic dataset). Results from the categorization task indicate that LLMs struggle to classify VA values into discrete emotion categories, particularly for emotions beyond basic polarities (e.g., happiness, sadness). However, in the semantic description task, LLMs produced textual descriptions that align closely with human-generated interpretations, demonstrating a stronger capacity for free text affective inference of facial expressions.
• Abstract（参考訳）: 大規模言語モデルは、主にテキストベースの入力と出力によって操作されるが、人間の感情は、表情を含む言語的および非言語的な手がかりによって伝達される。 Vision-Language Modelsは画像から表情を解析するが、それらはリソース集約的であり、視覚的理解よりも言語的事前に依存している可能性がある。 そこで本研究では,LLMが感情的意味を表情の次元から推定できるかどうかを,生の視覚的入力ではなく構造化された数値表現を用いて検討する。 VA値は表情のイメージから抽出され,(1)表情を基本的(IIMIデータセット)に分類し,(エメティックデータセット)複雑な感情に分類し,(2)表情の意味的記述を生成する(エメティックデータセット)。 カテゴリー化課題の結果は、VAの値を、特に基本的な極性(例えば、幸福、悲しみ)を超えた感情に対して、個別の感情カテゴリーに分類することに苦慮していることを示している。 しかし、意味記述タスクでは、LLMは、人間の生成した解釈と密接に一致したテキスト記述を生成し、表情の自由なテキスト感情推論のためのより強力な能力を示した。

関連論文リスト

• MEMO-Bench: A Multiple Benchmark for Text-to-Image and Multimodal Large Language Models on Human Emotion Analysis [53.012111671763776]
  そこで本研究では、7,145枚の肖像画からなる総合的なベンチマークであるMEMO-Benchを紹介した。 以上の結果から,既存のT2Iモデルは負のモデルよりも肯定的な感情を生成するのに効果的であることが示唆された。 MLLMは人間の感情の識別と認識に一定の効果を示すが、人間のレベルの正確さには欠ける。
  論文  参考訳（メタデータ） (2024-11-18T02:09:48Z)
• Knowledge-Enhanced Facial Expression Recognition with Emotional-to-Neutral Transformation [66.53435569574135]
  既存の表情認識法は、通常、個別のラベルを使って訓練済みのビジュアルエンコーダを微調整する。 視覚言語モデルによって生成されるテキスト埋め込みの豊富な知識は、識別的表情表現を学ぶための有望な代替手段である。 感情-中性変換を用いた知識強化FER法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T07:28:57Z)
• How Do You Perceive My Face? Recognizing Facial Expressions in Multi-Modal Context by Modeling Mental Representations [5.895694050664867]
  本稿では,単純な分類タスクを超越した新しい表情分類手法を提案する。 本モデルでは,認識された顔を正確に分類し,文脈で顔を観察する際,人間によって知覚される対応する心的表現を合成する。 本研究では,人間の心的表現の近似を効果的に生成することを示す。
  論文  参考訳（メタデータ） (2024-09-04T09:32:40Z)
• Contextual Emotion Recognition using Large Vision Language Models [0.6749750044497732]
  現実の状況における人の明らかな感情の人間レベルの認識を達成することは、コンピュータビジョンにおいて未解決の課題である。 本稿では,近年の大規模視覚言語モデルによって実現された2つの主要なアプローチについて検討する。 私たちは、小さなデータセットでも微調整された視覚言語モデルが、従来のベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-05-14T23:24:12Z)
• VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
  我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。 第1段階では、VLLMが対象者の明らかな感情の自然言語で記述を生成できるように促すことを提案する。 第2段階では、記述を文脈情報として使用し、画像入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用する。
  論文  参考訳（メタデータ） (2024-04-10T15:09:15Z)
• Fine-grained Affective Processing Capabilities Emerging from Large Language Models [7.17010996725842]
  本稿では,ChatGPTのゼロショット機能について,プロンプトのみを用いて情緒的な計算処理を行う方法について検討する。 b) 感情カテゴリーの観点で意味のある感情表現を持ち, c) 状況の基本的な評価に基づく感情誘発を行うことができることを示す。
  論文  参考訳（メタデータ） (2023-09-04T15:32:47Z)
• CLIPER: A Unified Vision-Language Framework for In-the-Wild Facial Expression Recognition [1.8604727699812171]
  本稿では,CLIPに基づく静的および動的表情認識のための統合フレームワークを提案する。 複数式テキスト記述子(METD)を導入し,CLIPERをより解釈しやすい表現の微粒化を学習する。
  論文  参考訳（メタデータ） (2023-03-01T02:59:55Z)
• Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
  我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。 PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。 PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
  論文  参考訳（メタデータ） (2022-07-22T13:39:06Z)
• Facial Expression Editing with Continuous Emotion Labels [76.36392210528105]
  深層生成モデルは、自動表情編集の分野で素晴らしい成果を上げている。 連続した2次元の感情ラベルに従って顔画像の表情を操作できるモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-22T13:03:02Z)
• Real-time Facial Expression Recognition "In The Wild'' by Disentangling 3D Expression from Identity [6.974241731162878]
  本稿では,1枚のRGB画像から人間の感情認識を行う新しい手法を提案する。 顔のダイナミックス、アイデンティティ、表情、外観、3Dポーズのバリエーションに富んだ大規模な顔ビデオデータセットを構築した。 提案するフレームワークは毎秒50フレームで動作し、3次元表現変動のパラメータを頑健に推定することができる。
  論文  参考訳（メタデータ） (2020-05-12T01:32:55Z)
• Learning to Augment Expressions for Few-shot Fine-grained Facial Expression Recognition [98.83578105374535]
  顔表情データベースF2EDについて述べる。 顔の表情は119人から54人まで、200万枚以上の画像が含まれている。 実世界のシナリオでは,不均一なデータ分布やサンプルの欠如が一般的であるので,数発の表情学習の課題を評価する。 顔画像合成のための統合されたタスク駆動型フレームワークであるComposeal Generative Adversarial Network (Comp-GAN) 学習を提案する。
  論文  参考訳（メタデータ） (2020-01-17T03:26:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。