論文の概要: LaCoVL-FER: Landmark-Guided Contrastive Learning Network with Vision-Language Enhancement for Facial Expression Recognition

• arxiv url: http://arxiv.org/abs/2605.19821v1
• Date: Tue, 19 May 2026 13:15:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.362161
• Title: LaCoVL-FER: Landmark-Guided Contrastive Learning Network with Vision-Language Enhancement for Facial Expression Recognition
• Title（参考訳）: LaCoVL-FER:視覚言語強調によるランドマーク型コントラスト学習ネットワークによる表情認識
• Authors: Jiaxin Wang, Muwei Jian, Hui Yu, Junyu Dong, Yifan Xia,
• Abstract要約: 顔表情認識のための視覚言語強化型ランドマーク誘導型コントラスト学習ネットワーク(FER)を提案する。 LaCoVL-FERは、顔のランドマークと視覚言語モデルからのセマンティックな事前情報を統合する。 実験により、LaCoVL-FERは3つの代表的な実世界のFERデータセット上で最先端のメソッドより優れていることが示された。
• 参考スコア（独自算出の注目度）: 51.70817823155725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial Expression Recognition (FER) in the wild is still challenging due to uncontrolled variations in pose, occlusion, and illumination. Most existing attention-based methods primarily rely on visual appearance cues, suffering from attention redundancy and instability, which limits their performance in complex scenarios. To address these issues, we propose a novel landmark-guided contrastive learning network with vision-language enhancement for FER (LaCoVL-FER), which integrates geometric priors from facial landmarks and semantic priors from a vision-language model. Specifically, a Landmark-Guided Adaptive Encoder (LGAE) is designed to introduce geometric priors through a Bi-branch Gated Cross Attention (BGCA) mechanism, which achieves adaptive fusion of landmark-based geometric and visual appearance features to produce expression-relevant features, thereby focusing on key facial regions and suppressing noise interference. In parallel, a Vision-Language Enhancement Strategy (VLES) is presented to leverage the expression-relevant features to refine the generalizable visual features extracted by the frozen pretrained CLIP image encoder, yielding expression-specific visual representations. Based on these representations, an Expression-Conditioned Prompting (ECP) mechanism is utilized to further adapt the textual features of fixed class-level prompts from the frozen pretrained CLIP text encoder, generating more instance-aware textual representations. These visual-textual representations are aligned as semantic priors to enhance the robustness and generalization of FER. Quantitative and qualitative experiments demonstrate that our LaCoVL-FER outperforms state-of-the-art methods on three representative real-world FER datasets, including RAF-DB, FERPlus, and AffectNet. The code is available at https://github.com/ylin06804/LaCoVL-FER.
• Abstract（参考訳）: 野生における表情認識(FER)は、ポーズ、閉塞、照明の制御されていない変化のため、いまだに困難である。 既存の注意に基づく手法のほとんどは、視覚的な外観の手がかりに依存しており、注意の冗長性と不安定さに悩まされており、複雑なシナリオではパフォーマンスが制限される。 これらの課題に対処するために,顔のランドマークや視覚言語モデルからのセマンティックな先行情報を統合した FER (LaCoVL-FER) のための視覚言語拡張を用いたランドマーク誘導型コントラスト学習ネットワークを提案する。 具体的には、Landmark-Guided Adaptive Encoder (LGAE) は、Bi-branch Gated Cross Attention (BGCA) 機構により、ランドマークベースの幾何学的および視覚的外観特徴の適応的融合を実現し、表現関連特徴を生成し、キー顔領域に集中し、ノイズ干渉を抑制する。 並行して、VLES(Vision-Language Enhancement Strategy)が提示され、表現関連機能を活用して、凍結したCLIP画像エンコーダによって抽出された一般化可能な視覚的特徴を洗練し、表現固有の視覚的表現をもたらす。 これらの表現に基づいて、Expression-Conditioned Prompting (ECP) メカニズムを使用して、凍結したCLIPテキストエンコーダから固定クラスレベルのプロンプトのテキスト特徴をより適応させ、よりインスタンス対応のテキスト表現を生成する。 これらの視覚的テキスト表現は、FERの堅牢性と一般化を強化するために、セマンティック先行として整列される。 我々のLaCoVL-FERは、RAF-DB、FERPlus、AffectNetを含む3つの代表的な実世界のFERデータセットに対して、最先端の手法より優れていることを示した。 コードはhttps://github.com/ylin06804/LaCoVL-FERで公開されている。

関連論文リスト

• Steerable Visual Representations [72.39044430620977]
  我々は、グローバルでローカルな機能を自然言語で操れるステアブルなビジュアル表現を紹介した。 また,本手法は,異常検出とパーソナライズされた対象の識別に専用アプローチを適合させ,性能を向上する。
  論文  参考訳（メタデータ） (2026-04-02T17:59:49Z)
• GazeCLIP: Gaze-Guided CLIP with Adaptive-Enhanced Fine-Grained Language Prompt for Deepfake Attribution and Detection [80.12497948980378]
  現在のディープフェイク属性やディープフェイク検出作業は、新しい生成方法への一般化が不十分である傾向にある。 適応型きめ細粒度言語プロンプトを用いた新しい視線誘導型CLIPを提案する。 拡散モデルや流れモデルのような新しい発電機上でのネットワークのDFAD性能を評価するために, 新規できめ細かなベンチマークを行う。 CLIPをベースとした視線認識モデルを導入し,顔偽造攻撃の一般化を図った。
  論文  参考訳（メタデータ） (2026-03-31T05:59:59Z)
• Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models [57.357091028792325]
  ウェブスケールのデータに基づいて事前訓練された視覚言語モデル(VLM)は、ゼロショットの一般化を約束するが、しばしば意味的ミスアライメントに悩まされる。 視覚・テクストアライメントを改善するために,制約付きプロンプトエンハンスメント(CPE)法を提案する。 提案手法はTGSSG(Topology-Guided Synonymous Semantic Generation)とCADRS(Calegory-Agnostic Discriminative Region Selection)の2つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-08-24T15:45:22Z)
• Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
  DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。 2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2025-08-15T06:43:51Z)
• Weakly-Supervised Image Forgery Localization via Vision-Language Collaborative Reasoning Framework [16.961220047066792]
  ViLaCoは視覚言語の共同推論フレームワークで、事前訓練された視覚言語モデルから抽出した補助的セマンティックインスペクションを導入する。 ViLaCoは既存のWSIFL法を大幅に上回り、検出精度とローカライゼーション精度の両方で最先端の性能を達成する。
  論文  参考訳（メタデータ） (2025-08-02T12:14:29Z)
• HAMLET-FFD: Hierarchical Adaptive Multi-modal Learning Embeddings Transformation for Face Forgery Detection [6.060036926093259]
  HAMLET-FFDは顔偽造検出のためのクロスドメイン一般化フレームワークである。 視覚的証拠と概念的手がかりを統合し、専門家の法医学的分析をエミュレートする。 HAMLET-FFDは設計上、外部プラグインとして機能する全ての事前訓練されたパラメータを凍結する。
  論文  参考訳（メタデータ） (2025-07-28T15:09:52Z)
• Multimodal Prompt Alignment for Facial Expression Recognition [24.470095812039286]
  MPA-FERは、引き起こされた視覚的特徴の学習プロセスに対して、きめ細かいセマンティックガイダンスを提供する。 我々のフレームワークは、FERベンチマークの3つのベンチマークデータセット上で最先端の手法より優れています。
  論文  参考訳（メタデータ） (2025-06-26T05:28:57Z)
• LLV-FSR: Exploiting Large Language-Vision Prior for Face Super-resolution [67.23699927053191]
  LLV-FSRと呼ばれる新しいフレームワークを提案する。このフレームワークは、大きな視覚言語モデルと高次視覚モデルのパワーと、顔超解像の課題とをマージする。 MMCelebA-HQデータセットのPSNRでSOTAを0.43dB以上上回って,提案手法は再構築品質と知覚品質の両方を著しく改善することを示した。
  論文  参考訳（メタデータ） (2024-11-14T09:12:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。