論文の概要: LLM-based Multimodal Personality Recognition via Facial Action Unit-Text Semantic Fusion

• arxiv url: http://arxiv.org/abs/2606.29900v1
• Date: Mon, 29 Jun 2026 07:35:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.096857
• Title: LLM-based Multimodal Personality Recognition via Facial Action Unit-Text Semantic Fusion
• Title（参考訳）: 顔動作単位テキスト・セマンティック・フュージョンによるLLMに基づくマルチモーダル・パーソナリティ認識
• Abstract要約: 非同期ビデオインタビュー(AVI)におけるパーソナリティの認識は、現代の採用に広く採用されているため、ますます重要になっている。 既存のアプローチは、インタビュアーのテキスト応答を分析するために、しばしば大きな言語モデル(LLM)に依存している。 本稿では,AVI のテキスト応答を意味的に融合する LLM ベースのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 32.661283992568755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personality recognition in asynchronous video interviews (AVIs) has become increasingly important due to their widespread adoption in modern recruitment. Existing approaches often rely on large language models (LLMs) to analyze textual responses of interviewees in AVI. However, unimodel methods often suffer from information loss (e.g., ignore facial cues). In contrast, multimodal methods that employ full-face images or sparsely sampled frames can discard fine-grained temporal dynamics critical for accurate personality assessment. To overcome these limitations, we propose an LLM-based framework that semantically fuse facial action units (AUs) with textual responses of AVI. AU sequences are first converted into interpretable textual descriptions, which are then fused with participants' textual responses through an LLM. A lightweight regression head transforms the resulting embeddings into continuous personality scores without disrupting the underlying semantic space. Experiments on the AVI-6 benchmark demonstrate consistent improvements over most baselines, with lower prediction errors and stronger correlations with human-rated scores across multiple traits. Further analysis reveals that AU-derived semantic representations offer complementary non-verbal cues to textual responses. Decoupling semantic understanding from regression prediction within the LLM also leads to greater training stability and clearer interpretability. Overall, these findings demonstrate that AU-text fusion provides a psychologically grounded and computationally efficient framework for personality recognition in AVIs.
• Abstract（参考訳）: 非同期ビデオインタビュー(AVI)におけるパーソナリティの認識は、現代の採用に広く採用されているため、ますます重要になっている。 既存のアプローチは、AVIのインタビュアーのテキスト応答を分析するために、大きな言語モデル(LLM)に依存していることが多い。 しかし、ユニモデル手法は情報損失に悩まされることが多い(例えば、顔の手がかりを無視する)。 対照的に、フルフェイス画像やスパースサンプリングフレームを利用するマルチモーダル手法は、正確な性格評価に不可欠な微粒な時間的ダイナミクスを排除できる。 これらの制限を克服するために,AVI のテキスト応答を意味的に融合する LLM ベースのフレームワークを提案する。 AU配列はまず解釈可能なテキスト記述に変換され、LLMを介して参加者のテキスト応答と融合する。 軽量回帰ヘッドは、基礎となる意味空間を乱すことなく、結果の埋め込みを連続的なパーソナリティスコアに変換する。 AVI-6ベンチマークの実験では、予測誤差が低く、複数の特徴にまたがる人格スコアとの相関が強いため、ほとんどのベースラインに対して一貫した改善が示されている。 さらに分析したところ、AUから派生した意味表現は、テキスト応答に相補的な非言語的手がかりを提供することがわかった。 LLM内の回帰予測から意味的理解を分離することで、トレーニングの安定性が向上し、解釈可能性も向上する。 これらの結果は、AVIにおける人格認識のための心理学的基盤と計算学的に効率的な枠組みをAU-text fusionがもたらすことを示す。

関連論文リスト

• ACT Now: Preempting LVLM Hallucinations via Adaptive Context Integration [71.21097024566285]
  LVLM(Large-Language Models)はしばしば深刻な幻覚に悩まされる。 既存の緩和戦略は、視覚的焦点を強化するか、強い先行を抑えるために、言語的、単一段階の状態に依存している。 本研究では,適応的な文脈情報の統合を通じて幻覚を緩和する学習自由推論介入手法であるAdaptive Context in VisionTegration (ACT)を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:49:50Z)
• Facial-Expression-Aware Prompting for Empathetic LLM Tutoring [1.4789832988674319]
  本研究では, 表情認識信号が, 即時統合による共感的学習反応を改善できるかどうかを考察する。 学生エージェントが、大規模な未ラベルの表情ビデオデータセットから多様な顔行動を示す、スケーラブルなシミュレートされた学習環境を構築する。 教師のバックボーンにまたがる960件のマルチターン会話において,5人のレイパーと全AI評価器の対対比較を行った。
  論文  参考訳（メタデータ） (2026-03-10T08:16:24Z)
• Understanding Language Prior of LVLMs by Contrasting Chain-of-Embedding [12.42420657573375]
  大規模視覚言語モデル(LVLM)における言語の最初の体系的解析について述べる。 それぞれのモデルが視覚統合ポイント(VIP)を示しており、視覚情報が隠れた表現を意味的に再形成し、デコードに影響を与える重要な層である。 9つの現代のLVLMと6つのベンチマークにまたがる54のモデル-データセットの組み合わせにおいて、VIPは一貫して出現し、TVIは言語の強さを確実に予測することを示した。
  論文  参考訳（メタデータ） (2025-09-27T02:12:05Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• Using AI to replicate human experimental results: a motion study [0.11838866556981258]
  本稿では,言語研究における信頼性の高い解析ツールとして,大規模言語モデル(LLM)の可能性について検討する。 動作動詞の行儀を含む時間表現における感情的意味の出現に焦点を当てる。
  論文  参考訳（メタデータ） (2025-07-14T14:47:01Z)
• ONLY: One-Layer Intervention Sufficiently Mitigates Hallucinations in Large Vision-Language Models [67.75439511654078]
  LVLM(Large Vision-Language Models)は、テキスト応答による画像入力の理解と推論のための新しいパラダイムを導入している。 彼らは幻覚という永続的な課題に直面しており、現実のアプリケーションに信頼性のあるデプロイを行うことについて懸念を抱き、実践的な弱点をもたらしている。 OnLYは,1つのクエリと1層の介入しか必要とせず,効率的なリアルタイムデプロイメントを実現するためのトレーニング不要なデコーディング手法である。
  論文  参考訳（メタデータ） (2025-07-01T16:01:08Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• Understanding Large Language Model Behaviors through Interactive Counterfactual Generation and Analysis [22.755345889167934]
  本稿では,大規模言語モデル (LLM) の対実解析による探索を可能にする対話型可視化システムを提案する。 本システムは,意味論的に意味のある反事実を生成する新しいアルゴリズムを特徴とする。 LLM実践者とのユーザスタディと専門家とのインタビューは、システムのユーザビリティと有効性を示している。
  論文  参考訳（メタデータ） (2024-04-23T19:57:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。