論文の概要: Open-Set Video-based Facial Expression Recognition with Human Expression-sensitive Prompting

• arxiv url: http://arxiv.org/abs/2404.17100v1
• Date: Fri, 26 Apr 2024 01:21:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 14:14:08.137397
• Title: Open-Set Video-based Facial Expression Recognition with Human Expression-sensitive Prompting
• Title（参考訳）: 人間の表情に敏感なプロンプトを用いたオープンセット映像による表情認識
• Authors: Yuanyuan Liu, Yuxuan Huang, Shuyang Liu, Yibing Zhan, Zijing Chen, Zhe Chen,
• Abstract要約: 本稿では,未知の人間の表情を識別することを目的とした,オープンセット映像に基づく表情認識タスクを提案する。 既存のアプローチでは、CLIPのような大規模ビジョン言語モデルを活用して、未確認のクラスを特定することで、オープンセット認識に対処している。 本稿では,CLIPの映像ベース表情詳細を効果的にモデル化する能力を大幅に向上させる新しいHuman Expression-Sensitive Prompting(HESP)機構を提案する。
• 参考スコア（独自算出の注目度）: 28.673734895558322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Video-based Facial Expression Recognition (V-FER), models are typically trained on closed-set datasets with a fixed number of known classes. However, these V-FER models cannot deal with unknown classes that are prevalent in real-world scenarios. In this paper, we introduce a challenging Open-set Video-based Facial Expression Recognition (OV-FER) task, aiming at identifying not only known classes but also new, unknown human facial expressions not encountered during training. While existing approaches address open-set recognition by leveraging large-scale vision-language models like CLIP to identify unseen classes, we argue that these methods may not adequately capture the nuanced and subtle human expression patterns required by the OV-FER task. To address this limitation, we propose a novel Human Expression-Sensitive Prompting (HESP) mechanism to significantly enhance CLIP's ability to model video-based facial expression details effectively, thereby presenting a new CLIP-based OV-FER approach. Our proposed HESP comprises three components: 1) a textual prompting module with learnable prompt representations to complement the original CLIP textual prompts and enhance the textual representations of both known and unknown emotions, 2) a visual prompting module that encodes temporal emotional information from video frames using expression-sensitive attention, equipping CLIP with a new visual modeling ability to extract emotion-rich information, 3) a delicately designed open-set multi-task learning scheme that facilitates prompt learning and encourages interactions between the textual and visual prompting modules. Extensive experiments conducted on four OV-FER task settings demonstrate that HESP can significantly boost CLIP's performance (a relative improvement of 17.93% on AUROC and 106.18% on OSCR) and outperform other state-of-the-art open-set video understanding methods by a large margin.
• Abstract（参考訳）: ビデオベースの表情認識(V-FER)では、モデルは通常、一定の数の既知のクラスを持つクローズドセットデータセットで訓練される。 しかし、これらのV-FERモデルは現実世界のシナリオでよく見られる未知のクラスを扱うことはできない。 本稿では,オープンセット映像に基づく表情認識(OV-FER)課題について紹介する。 既存のアプローチでは、CLIPのような大規模視覚言語モデルを利用して未確認クラスを識別することで、オープンセット認識に対処しているが、これらの手法はOV-FERタスクで要求されるニュアンスで微妙な人間の表現パターンを適切に捉えていない。 この制限に対処するために,CLIPの表情の詳細を効果的にモデル化する能力を大幅に向上させる新しいHuman Expression-Sensitive Prompting(HESP)機構を提案する。 提案するHESPは3つのコンポーネントから構成される。 1) 学習可能なプロンプト表現を備えたテキストプロンプトモジュールは、元のCLIPテキストプロンプトを補完し、既知の感情と未知の感情の両方のテキスト表現を強化する。 2) 表情に敏感な注意を用いて映像フレームから時間的情動情報をエンコードする視覚的プロンプトモジュールで, 感情に富む情報を抽出する新たな視覚的モデリング機能を備えたCLIPを装備する。 3) テキストと視覚のプロンプトモジュール間の相互作用を促進・促進する,繊細に設計されたマルチタスク学習方式である。 4つのOV-FERタスク設定で実施された大規模な実験により、HESPはCLIPのパフォーマンスを大幅に向上させる(AUROCでは17.93%、OSCRでは106.18%)。

関連論文リスト

• Spatio-Temporal Context Prompting for Zero-Shot Action Detection [13.22912547389941]
  本稿では,視覚言語モデルの豊富な知識を効果的に活用し,対人インタラクションを実現する手法を提案する。 同時に複数の人物による異なる行動を認識するという課題に対処するために,興味あるトークンスポッティング機構を設計する。 提案手法は,従来の手法に比べて優れた結果を得ることができ,さらにマルチアクションビデオに拡張することができる。
  論文  参考訳（メタデータ） (2024-08-28T17:59:05Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
  我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。 第1段階では、VLLMが対象者の明らかな感情の自然言語で記述を生成できるように促すことを提案する。 第2段階では、記述を文脈情報として使用し、画像入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用する。
  論文  参考訳（メタデータ） (2024-04-10T15:09:15Z)
• Generating Action-conditioned Prompts for Open-vocabulary Video Action Recognition [63.95111791861103]
  既存の方法は、訓練済みの画像テキストモデルをビデオ領域に適応させるのが一般的である。 我々は、人間の事前知識によるテキスト埋め込みの強化が、オープン語彙のビデオ行動認識の鍵となると論じている。 提案手法は,新たなSOTA性能を設定できるだけでなく,解釈性にも優れる。
  論文  参考訳（メタデータ） (2023-12-04T02:31:38Z)
• VidCoM: Fast Video Comprehension through Large Language Models with Multimodal Tools [44.78291853329394]
  textbfVidCoMは、Large Language Models (LLM)を活用して、軽量なビジュアルツールを使用して動画を推論する高速適応フレームワークである。 InsOVERアルゴリズムは、言語命令の分解とビデオイベントの間の効率的なハンガリー語マッチングに基づいて、対応するビデオイベントを特定する。
  論文  参考訳（メタデータ） (2023-10-16T17:05:56Z)
• Prompting Visual-Language Models for Dynamic Facial Expression Recognition [14.783257517376041]
  本稿ではDFER-CLIPと呼ばれる新しい視覚言語モデルを提案する。 これはCLIPモデルに基づいており、幅内動的顔表情認識のために設計されている。 DFEW、FERV39k、MAFWベンチマークの現在の教師付きDFER法と比較すると、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2023-08-25T13:52:05Z)
• CLIPER: A Unified Vision-Language Framework for In-the-Wild Facial Expression Recognition [1.8604727699812171]
  本稿では,CLIPに基づく静的および動的表情認識のための統合フレームワークを提案する。 複数式テキスト記述子(METD)を導入し,CLIPERをより解釈しやすい表現の微粒化を学習する。
  論文  参考訳（メタデータ） (2023-03-01T02:59:55Z)
• Bidirectional Cross-Modal Knowledge Exploration for Video Recognition with Pre-trained Vision-Language Models [149.1331903899298]
  本稿では,双方向の知識を探索するクロスモーダルブリッジを用いた,BIKEと呼ばれる新しいフレームワークを提案する。 本研究では,テキスト・トゥ・ビデオの専門知識を用いて時間的サリエンシをパラメータフリーでキャプチャする時間的概念スポッティング機構を提案する。 我々の最良のモデルは、リリースしたCLIPモデルを使用して、Kinetics-400の挑戦に対して、最先端の精度88.6%を達成する。
  論文  参考訳（メタデータ） (2022-12-31T11:36:53Z)
• Object Relational Graph with Teacher-Recommended Learning for Video Captioning [92.48299156867664]
  本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。 具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。 一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
  論文  参考訳（メタデータ） (2020-02-26T15:34:52Z)
• Learning to Augment Expressions for Few-shot Fine-grained Facial Expression Recognition [98.83578105374535]
  顔表情データベースF2EDについて述べる。 顔の表情は119人から54人まで、200万枚以上の画像が含まれている。 実世界のシナリオでは,不均一なデータ分布やサンプルの欠如が一般的であるので,数発の表情学習の課題を評価する。 顔画像合成のための統合されたタスク駆動型フレームワークであるComposeal Generative Adversarial Network (Comp-GAN) 学習を提案する。
  論文  参考訳（メタデータ） (2020-01-17T03:26:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。