論文の概要: Describe Your Facial Expressions by Linking Image Encoders and Large Language Models

• arxiv url: http://arxiv.org/abs/2611.08138v1
• Date: Thu, 05 Nov 2026 15:02:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.553569
• Title: Describe Your Facial Expressions by Linking Image Encoders and Large Language Models
• Title（参考訳）: 画像エンコーダと大言語モデルのリンクによる表情記述
• Abstract要約: 本稿では,人間の表情を自然言語で表現する新しい課題について述べる。 合成画像テキストペアを用いて視覚言語モデルを訓練する3段階学習フレームワークを提案する。 顔の動作や感情を詳細に記述したキャプションの生成において,本手法の有効性を示す実験を行った。
• 参考スコア（独自算出の注目度）: 48.567557470521365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel task of describing human facial expressions of a facial image in natural language, which captures the nuances of facial actions and emotional states beyond traditional emotion categories or facial action units (AUs). To achieve the facial expression captioning model, we propose a three-stage training framework that trains a vision-to-language model using synthesized image-text pairs and the BLIP-2 pre-training techniques. To overcome the challenge of missing training image-text pairs for facial expression captioning, we propose a strategy that involves synthesizing and combining captions using GPT-3.5 and existing annotations on either emotion categories or AUs. Experiments demonstrate the effectiveness of our method in generating captions that describe details of facial actions and emotions, as well as the inferential relationship between them, even when those emotions are not present in the training data. It is also demonstrated that the vision-to-language task enhances the performance of the intermediate visual features on both AU detection and emotion classification tasks.
• Abstract（参考訳）: 本稿では,従来の感情カテゴリーや顔行動単位(AU)を超えた表情や感情状態のニュアンスを自然言語で表現する新しい課題を提案する。 表情キャプションモデルを実現するために,合成画像テキストペアとBLIP-2事前学習技術を用いて視覚言語モデルを訓練する3段階トレーニングフレームワークを提案する。 表情キャプションのためのイメージテキストペアの不足を克服するために,GPT-3.5を用いたキャプションの合成・結合と,感情カテゴリーやAUの既存のアノテーションを併用する戦略を提案する。 実験では,これらの感情が訓練データに存在しない場合でも,顔の動作や感情の詳細な記述や,それらの関係を記述したキャプションを生成する方法の有効性を実証した。 また,視覚から言語へのタスクは,AU検出タスクと感情分類タスクの両方において,中間的な視覚的特徴の性能を高めることが実証された。

関連論文リスト

• Knowledge-Enhanced Facial Expression Recognition with Emotional-to-Neutral Transformation [66.53435569574135]
  既存の表情認識法は、通常、個別のラベルを使って訓練済みのビジュアルエンコーダを微調整する。 視覚言語モデルによって生成されるテキスト埋め込みの豊富な知識は、識別的表情表現を学ぶための有望な代替手段である。 感情-中性変換を用いた知識強化FER法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T07:28:57Z)
• AVI-Talking: Learning Audio-Visual Instructions for Expressive 3D Talking Face Generation [28.71632683090641]
  本稿では,表情生成のための音声・視覚指導システムを提案する。 人間の音声から直接顔の動きを学習する代わりに、私たちの2段階の戦略はLLMが最初に音声情報を解釈することを含む。 この2段階のプロセスは、LLMの組み込みと組み合わせて、モデルの解釈可能性を高め、ユーザーに命令を理解する柔軟性を提供する。
  論文  参考訳（メタデータ） (2024-02-25T15:51:05Z)
• Contextual Emotion Estimation from Image Captions [0.6749750044497732]
  大規模言語モデルが文脈的感情推定タスクをサポートできるかを,まずイメージをキャプションし,LLMを用いて推論する。 EMOTICデータセットから331画像のサブセットのキャプションと感情アノテーションを生成する。 GPT-3.5(特にtext-davinci-003モデル)は、人間のアノテーションと一致した驚くほど合理的な感情予測を提供する。
  論文  参考訳（メタデータ） (2023-09-22T18:44:34Z)
• GaFET: Learning Geometry-aware Facial Expression Translation from In-The-Wild Images [55.431697263581626]
  本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。 我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
  論文  参考訳（メタデータ） (2023-08-07T09:03:35Z)
• Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
  我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。 PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。 PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
  論文  参考訳（メタデータ） (2022-07-22T13:39:06Z)
• Including Facial Expressions in Contextual Embeddings for Sign Language Generation [11.794563225903813]
  我々は,手話生成システムの性能に及ぼすテキスト,光沢,表情の関係をモデル化する効果について検討した。 本研究は,手話生成において顔面動作単位を最初に用いた人物として,手話の強度を表現するために顔面筋活動が果たす役割について考察する。
  論文  参考訳（メタデータ） (2022-02-11T00:47:22Z)
• Facial Expression Editing with Continuous Emotion Labels [76.36392210528105]
  深層生成モデルは、自動表情編集の分野で素晴らしい成果を上げている。 連続した2次元の感情ラベルに従って顔画像の表情を操作できるモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-22T13:03:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。