論文の概要: MELLM: Exploring LLM-Powered Micro-Expression Understanding Enhanced by Subtle Motion Perception

• arxiv url: http://arxiv.org/abs/2505.07007v1
• Date: Sun, 11 May 2025 15:08:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.158082
• Title: MELLM: Exploring LLM-Powered Micro-Expression Understanding Enhanced by Subtle Motion Perception
• Title（参考訳）: MELLM: サブストローク・モーション・パーセプションにより強化されたLLMを用いたマイクロ圧縮理解の探索
• Authors: Zhengye Zhang, Sirui Zhao, Shifeng Liu, Shukang Yin, Xinglong Mao, Tong Xu, Enhong Chen,
• Abstract要約: マイクロ圧縮大言語モデル(MELLM)を提案する。 MLLMの強い推論能力を備えた微妙な顔の動き知覚戦略を取り入れている。 我々のモデルは、マイクロ圧縮理解(MEU)において優れた堅牢性と一般化能力を示す。
• 参考スコア（独自算出の注目度）: 47.80768014770871
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Micro-expressions (MEs) are crucial psychological responses with significant potential for affective computing. However, current automatic micro-expression recognition (MER) research primarily focuses on discrete emotion classification, neglecting a convincing analysis of the subtle dynamic movements and inherent emotional cues. The rapid progress in multimodal large language models (MLLMs), known for their strong multimodal comprehension and language generation abilities, offers new possibilities. MLLMs have shown success in various vision-language tasks, indicating their potential to understand MEs comprehensively, including both fine-grained motion patterns and underlying emotional semantics. Nevertheless, challenges remain due to the subtle intensity and short duration of MEs, as existing MLLMs are not designed to capture such delicate frame-level facial dynamics. In this paper, we propose a novel Micro-Expression Large Language Model (MELLM), which incorporates a subtle facial motion perception strategy with the strong inference capabilities of MLLMs, representing the first exploration of MLLMs in the domain of ME analysis. Specifically, to explicitly guide the MLLM toward motion-sensitive regions, we construct an interpretable motion-enhanced color map by fusing onset-apex optical flow dynamics with the corresponding grayscale onset frame as the model input. Additionally, specialized fine-tuning strategies are incorporated to further enhance the model's visual perception of MEs. Furthermore, we construct an instruction-description dataset based on Facial Action Coding System (FACS) annotations and emotion labels to train our MELLM. Comprehensive evaluations across multiple benchmark datasets demonstrate that our model exhibits superior robustness and generalization capabilities in ME understanding (MEU). Code is available at https://github.com/zyzhangUstc/MELLM.
• Abstract（参考訳）: マイクロ・エクスプレッション(ME)は、感情コンピューティングに重要な可能性を持つ重要な心理的反応である。 しかし、現在のMER(Automatic Micro-Expression Recognition)研究は、主に、微妙な動的な動きと固有の感情的手がかりの説得力のある分析を無視した、離散的な感情分類に焦点を当てている。 マルチモーダル言語モデル(MLLM)の急速な進歩は、その強力なマルチモーダル理解と言語生成能力で知られ、新たな可能性をもたらす。 MLLMは様々な視覚言語タスクで成功し、細粒度の動きパターンと基礎となる感情的意味論の両方を含む、MEを包括的に理解する可能性を示している。 しかし、既存のMLLMはそのような微妙なフレームレベルの顔力学を捉えるように設計されていないため、MEの微妙な強度と短い期間のために課題は残る。 本稿では,MLLMの強力な推論能力を備えた微妙な顔の動き認識戦略を取り入れた新しいマイクロ圧縮大言語モデル(MELLM)を提案する。 具体的には、MLLMを動きに敏感な領域に向けて明示的に導くために、モデル入力として対応するグレースケールのオンセットフレームとオンセット・アセックスの光学的流れのダイナミクスを融合させることにより、解釈可能な動き強調色マップを構築する。 さらに、特定の微調整戦略が組み込まれて、モデルによるMEの視覚的知覚をさらに強化する。 さらに、ファシカルアクション符号化システム(FACS)アノテーションと感情ラベルに基づく指示記述データセットを構築し、MELLMをトレーニングする。 複数のベンチマークデータセットの包括的評価は、我々のモデルがME理解(MEU)において優れた堅牢性と一般化能力を示すことを示している。 コードはhttps://github.com/zyzhangUstc/MELLMで入手できる。

関連論文リスト

• BeMERC: Behavior-Aware MLLM-based Framework for Multimodal Emotion Recognition in Conversation [29.514459004019024]
  本稿では,ビニラMLLMに基づくMERCモデルに話者の振る舞いを組み込む行動認識型MLLMベースのフレームワーク(BeMERC)を提案する。 BeMERCは2つのベンチマークデータセットの最先端手法よりも優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-03-31T12:04:53Z)
• SegAgent: Exploring Pixel Understanding Capabilities in MLLMs by Imitating Human Annotator Trajectories [52.57696897619189]
  MLLMが対話型セグメンテーションツールを用いた人間のアノテーションを模倣する新しいパラダイムであるHLMAT(Human-Like Mask Modeling Task)を紹介する。 HLMATにより、MLLMはテキストベースのクリックポイントを反復的に生成し、アーキテクチャの変更や暗黙のトークンなしで高品質なマスクを実現することができる。 HLMATは、MLLMの微細なピクセル理解を評価するためのプロトコルを提供し、視覚中心の多段階意思決定タスクを導入している。
  論文  参考訳（メタデータ） (2025-03-11T17:08:54Z)
• Can MLLMs Guide Weakly-Supervised Temporal Action Localization Tasks? [6.7065734065794835]
  MLLM4WTALと呼ばれる新しい学習パラダイムを導入する。 MLLMのポテンシャルを利用して、時間的アクションキーセマンティクスと完全なセマンティクスの事前を提供する。 キーセマンティックマッチング(KSM)と完全セマンティック再構成(CSR)の2つの異なるモジュールを統合することでこれを実現できる。
  論文  参考訳（メタデータ） (2024-11-13T09:37:24Z)
• A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
  MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。 本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
  論文  参考訳（メタデータ） (2024-08-02T15:14:53Z)
• X-Former: Unifying Contrastive and Reconstruction Learning for MLLMs [49.30255148577368]
  X-FormerはCLとMIMの相補的な強度を利用するために設計された軽量トランスフォーマーモジュールである。 X-Formerは、2つの凍結した視覚エンコーダから視覚言語表現学習とマルチモーダル・マルチモーダル生成学習をブートストラップする。 さらに、凍結したLLMから視覚から言語への生成学習をブートストラップし、X-Formerの視覚的特徴をLLMで解釈できるようにする。
  論文  参考訳（メタデータ） (2024-07-18T18:39:54Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• From Training-Free to Adaptive: Empirical Insights into MLLMs' Understanding of Detection Information [32.57246173437492]
  視覚検出モデルは、きめ細かい画像の詳細を認識するのに優れている。 1つの効果的な戦略は、シンプルで効果的なテキスト形式で検出情報を注入することである。 本稿では,MLLMのテキスト検出情報に対する理解に,学習はどのような影響を与えるのか,という疑問に対処する。
  論文  参考訳（メタデータ） (2024-01-31T16:38:32Z)
• HiLM-D: Enhancing MLLMs with Multi-Scale High-Resolution Details for Autonomous Driving [44.06475712570428]
  HiLM-D は ROLISP 用の MLLM の視覚情報処理を強化するリソース効率のよいフレームワークである。 本手法は, 自律走行シナリオにおける主要な変動が運動軌跡であるという事実に動機付けられている。 実験の結果、HiLM-Dは現在のMLLMよりも大幅に改善され、BLEU-4のキャプションは3.7%、mIoUの8.7%が検出された。
  論文  参考訳（メタデータ） (2023-09-11T01:24:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。