論文の概要: Graph-Driven Multimodal Feature Learning Framework for Apparent Personality Assessment

• arxiv url: http://arxiv.org/abs/2504.11515v1
• Date: Tue, 15 Apr 2025 14:26:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:36:52.425799
• Title: Graph-Driven Multimodal Feature Learning Framework for Apparent Personality Assessment
• Title（参考訳）: パーソナリティ評価のためのグラフ駆動型マルチモーダル特徴学習フレームワーク
• Authors: Kangsheng Wang, Chengwei Ye, Huanzhen Zhang, Linuo Xu, Shuyan Liu,
• Abstract要約: 人格特性の自動予測は、コンピュータビジョンにおいて難しい問題となっている。 本稿では,ショートビデオクリップにおけるパーソナリティ分析のための革新的なマルチモーダル特徴学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.39945675027960637
• License:
• Abstract: Predicting personality traits automatically has become a challenging problem in computer vision. This paper introduces an innovative multimodal feature learning framework for personality analysis in short video clips. For visual processing, we construct a facial graph and design a Geo-based two-stream network incorporating an attention mechanism, leveraging both Graph Convolutional Networks (GCN) and Convolutional Neural Networks (CNN) to capture static facial expressions. Additionally, ResNet18 and VGGFace networks are employed to extract global scene and facial appearance features at the frame level. To capture dynamic temporal information, we integrate a BiGRU with a temporal attention module for extracting salient frame representations. To enhance the model's robustness, we incorporate the VGGish CNN for audio-based features and XLM-Roberta for text-based features. Finally, a multimodal channel attention mechanism is introduced to integrate different modalities, and a Multi-Layer Perceptron (MLP) regression model is used to predict personality traits. Experimental results confirm that our proposed framework surpasses existing state-of-the-art approaches in performance.
• Abstract（参考訳）: 人格特性の自動予測は、コンピュータビジョンにおいて難しい問題となっている。 本稿では,ショートビデオクリップにおけるパーソナリティ分析のための革新的なマルチモーダル特徴学習フレームワークを提案する。 視覚処理のために,顔グラフを構築し,注意機構を取り入れたGeo-based two-stream networkを設計し,グラフ畳み込みニューラルネットワーク(GCN)と畳み込みニューラルネットワーク(CNN)の両方を用いて静的な表情をキャプチャする。 さらに、ResNet18とVGGFaceネットワークを使用して、フレームレベルでのグローバルシーンと顔の外観の特徴を抽出する。 動的時間的情報をキャプチャするために、BiGRUと時間的アテンションモジュールを統合して、有意なフレーム表現を抽出する。 モデルの堅牢性を高めるため、音声ベースの機能にVGGish CNN、テキストベースの機能にXLM-Robertaを組み込んだ。 最後に、異なるモダリティを統合するためにマルチモーダルチャネルアテンション機構を導入し、パーセプトロン(MLP)回帰モデルを用いて性格特性を予測する。 実験の結果,提案するフレームワークは既存の最先端の手法よりも性能が優れていたことが確認された。

関連論文リスト

• DuoFormer: Leveraging Hierarchical Visual Representations by Local and Global Attention [1.5624421399300303]
  本稿では、畳み込みニューラルネットワーク(CNN)の特徴抽出機能と視覚変換器(ViT)の高度な表現可能性とを包括的に統合した新しい階層型トランスフォーマーモデルを提案する。 インダクティブバイアスの欠如と、ViTの広範囲なトレーニングデータセットへの依存に対処するため、我々のモデルはCNNバックボーンを使用して階層的な視覚表現を生成する。 これらの表現は、革新的なパッチトークン化を通じてトランスフォーマー入力に適合する。
  論文  参考訳（メタデータ） (2024-07-18T22:15:35Z)
• Masked Contrastive Graph Representation Learning for Age Estimation [44.96502862249276]
  本稿では,画像冗長性情報を扱う上で,グラフ表現学習の特性を利用する。 年齢推定のためのMasked Contrastive Graph Representation Learning (MCGRL)法を提案する。 実世界の顔画像データセットに対する実験結果から,提案手法が他の最先端の年齢推定手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-16T15:53:21Z)
• MTS2Graph: Interpretable Multivariate Time Series Classification with Temporal Evolving Graphs [1.1756822700775666]
  入力代表パターンを抽出・クラスタリングすることで時系列データを解釈する新しいフレームワークを提案する。 UCR/UEAアーカイブの8つのデータセットとHARとPAMデータセットで実験を行います。
  論文  参考訳（メタデータ） (2023-06-06T16:24:27Z)
• MHSCNet: A Multimodal Hierarchical Shot-aware Convolutional Network for Video Summarization [61.69587867308656]
  本稿では,MHSCNetと呼ばれるマルチモーダル階層型ショット・アウェア・畳み込みネットワークを提案する。 学習したショット認識表現に基づいて、MHSCNetは、ビデオのローカルおよびグローバルビューにおけるフレームレベルの重要度スコアを予測することができる。
  論文  参考訳（メタデータ） (2022-04-18T14:53:33Z)
• Spectral Transform Forms Scalable Transformer [1.19071399645846]
  この研究は自己注意の哲学から学び、情報的長距離時間相互作用を用いた効率的なスペクトルベースの神経ユニットを提案する。 開発されたスペクトルウィンドウユニット(SW)モデルは、保証された効率でスケーラブルな動的グラフを予測する。
  論文  参考訳（メタデータ） (2021-11-15T08:46:01Z)
• Wide and Narrow: Video Prediction from Context and Motion [54.21624227408727]
  本稿では,これらの相補的属性を統合し,深層ネットワークを通した複雑なピクセルのダイナミックスを予測するフレームワークを提案する。 本研究では,非局所的な近隣表現を集約し,過去のフレーム上の文脈情報を保存するグローバルなコンテキスト伝搬ネットワークを提案する。 また,移動オブジェクトの動作をメモリに格納することで,適応的なフィルタカーネルを生成するローカルフィルタメモリネットワークを考案した。
  論文  参考訳（メタデータ） (2021-10-22T04:35:58Z)
• A Multimodal Framework for Video Ads Understanding [64.70769354696019]
  広告ビデオコンテンツの構造化分析能力を向上させるためのマルチモーダルシステムの開発を行う。 2021年のTAAC最終リーダーボードでは, 位置推定と予測精度を考慮した0.2470のスコアを得た。
  論文  参考訳（メタデータ） (2021-08-29T16:06:00Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• Probabilistic Graph Attention Network with Conditional Kernels for Pixel-Wise Prediction [158.88345945211185]
  本稿では,画素レベルの予測を基本的側面,すなわち,技術の現状を推し進める新たなアプローチを提案する。 構造化されたマルチスケール機能学習と融合。 本論文では,マルチスケール表現を原理的に学習・融合するための新しいアテンテンションゲート条件ランダムフィールド(AG-CRFs)モデルに基づく確率的グラフアテンションネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2021-01-08T04:14:29Z)
• Video-based Facial Expression Recognition using Graph Convolutional Networks [57.980827038988735]
  我々は、ビデオベースの表情認識のための共通のCNN-RNNモデルに、GCN(Graph Convolutional Network)層を導入する。 我々は、CK+、Oulu-CASIA、MMIの3つの広く使われているデータセットと、AFEW8.0の挑戦的なワイルドデータセットについて、本手法の評価を行った。
  論文  参考訳（メタデータ） (2020-10-26T07:31:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。