論文の概要: Benchmarking Zero-Shot Facial Emotion Annotation with Large Language Models: A Multi-Class and Multi-Frame Approach in DailyLife

• arxiv url: http://arxiv.org/abs/2502.12454v1
• Date: Tue, 18 Feb 2025 02:36:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:09:10.141354
• Title: Benchmarking Zero-Shot Facial Emotion Annotation with Large Language Models: A Multi-Class and Multi-Frame Approach in DailyLife
• Title（参考訳）: 大規模言語モデルを用いたゼロショット顔感情アノテーションのベンチマーク:デイリーライフにおけるマルチクラス・マルチフレームアプローチ
• Authors: He Zhang, Xinyi Fu,
• Abstract要約: 本研究では,大規模言語モデル(LLM)を用いた日常シナリオにおける人間の感情の自動アノテートの実現可能性と性能について検討した。 GPT-4o-miniモデルを用いて,ビデオセグメントから抽出したキーフレームの高速ゼロショットラベリングを行った。
• 参考スコア（独自算出の注目度）: 9.38099046903016
• License:
• Abstract: This study investigates the feasibility and performance of using large language models (LLMs) to automatically annotate human emotions in everyday scenarios. We conducted experiments on the DailyLife subset of the publicly available FERV39k dataset, employing the GPT-4o-mini model for rapid, zero-shot labeling of key frames extracted from video segments. Under a seven-class emotion taxonomy ("Angry," "Disgust," "Fear," "Happy," "Neutral," "Sad," "Surprise"), the LLM achieved an average precision of approximately 50%. In contrast, when limited to ternary emotion classification (negative/neutral/positive), the average precision increased to approximately 64%. Additionally, we explored a strategy that integrates multiple frames within 1-2 second video clips to enhance labeling performance and reduce costs. The results indicate that this approach can slightly improve annotation accuracy. Overall, our preliminary findings highlight the potential application of zero-shot LLMs in human facial emotion annotation tasks, offering new avenues for reducing labeling costs and broadening the applicability of LLMs in complex multimodal environments.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)を用いた日常シナリオにおける人間の感情の自動アノテートの実現可能性と性能について検討した。 GPT-4o-miniモデルを用いて,ビデオセグメントから抽出したキーフレームの高速ゼロショットラベリングを行った。 7階層の感情分類(Angry, "Disgust", "Fear", "Happy", "Neutral", "Sad", "Surprise")では、LLMの平均精度は約50%に達した。 一方,3次感情分類(陰性/中性/陽性)に制限された場合,平均精度は約64%に向上した。 さらに,複数フレームを1-2秒ビデオクリップに統合し,ラベリング性能の向上とコスト削減を図る戦略についても検討した。 その結果,提案手法はアノテーションの精度をわずかに向上させることができることがわかった。 以上の結果から, 顔表情のアノテーションタスクにおけるゼロショットLPMの活用の可能性, ラベル付けコストの低減, 複合マルチモーダル環境におけるLCMの適用性の向上が示唆された。

関連論文リスト

• Can Large Language Models Capture Video Game Engagement? [1.3873323883842132]
  我々は、ビデオの連続的な影響アノテーションを注釈化し、うまく予測する一般的な大規模言語モデルの能力を包括的に評価する。 我々は, LLMアーキテクチャ, モデルサイズ, 入力モダリティ, プロンプト戦略, エンゲージメント予測に対する接地真理処理法の影響について, 2400以上の実験を行った。
  論文  参考訳（メタデータ） (2025-02-05T17:14:47Z)
• LLM-SEM: A Sentiment-Based Student Engagement Metric Using LLMS for E-Learning Platforms [0.0]
  LLM-SEM (Language Model-Based Students Engagement Metric) は,ビデオメタデータと学生コメントの感情分析を利用してエンゲージメントを測定する手法である。 我々は、テキストの曖昧さを軽減し、ビューやいいね!といった重要な特徴を正規化するために、高品質な感情予測を生成する。 包括的メタデータと感情極性スコアを組み合わせることで、コースと授業レベルのエンゲージメントを測定する。
  論文  参考訳（メタデータ） (2024-12-18T12:01:53Z)
• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• How Effectively Do LLMs Extract Feature-Sentiment Pairs from App Reviews? [2.218667838700643]
  本研究は,GPT-4,ChatGPT,およびLlama-2チャットの異なる変種を含む最先端LLMの性能を比較した。 肯定的な感情と中立的な感情を予測するため、GPT-4は0ショット設定でf1スコアの76%と45%を達成している。
  論文  参考訳（メタデータ） (2024-09-11T10:21:13Z)
• Toward Automatic Relevance Judgment using Vision--Language Models for Image--Text Retrieval Evaluation [56.49084589053732]
  VLM(Vision-Language Models)は、様々なアプリケーションで成功を収めてきたが、関連性判断を支援する可能性はまだ不明である。 本稿では,CLIP,LLaVA,GPT-4Vを含むVLMの関連性評価機能について,ゼロショット方式でマルチメディアコンテンツ作成に適した大規模テキスト分割ホック検索タスクで評価する。
  論文  参考訳（メタデータ） (2024-08-02T16:15:25Z)
• Emotion-LLaMA: Multimodal Emotion Recognition and Reasoning with Instruction Tuning [55.127202990679976]
  28,618粒の粗粒と4,487粒の細粒のアノテートサンプルを含むMERRデータセットを導入した。 このデータセットは、さまざまなシナリオから学習し、現実のアプリケーションに一般化することを可能にする。 本研究では,感情特異的エンコーダによる音声,視覚,テキスト入力をシームレスに統合するモデルであるEmotion-LLaMAを提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:01:22Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)
• EmoLLMs: A Series of Emotional Large Language Models and Annotation Tools for Comprehensive Affective Analysis [33.0280076936761]
  EmoLLMs はオープンソースの命令追従型 LLM の第1シリーズであり,インストラクションデータを用いた各種 LLM の微調整に基づく感情分析を行う。 EmoLLMは、感情分析タスクにおいて、ChatGPTレベルおよびGPT-4レベルの一般化機能を実現する。
  論文  参考訳（メタデータ） (2024-01-16T17:11:11Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。