論文の概要: Identity-free Artificial Emotional Intelligence via Micro-Gesture Understanding

• arxiv url: http://arxiv.org/abs/2405.13206v1
• Date: Tue, 21 May 2024 21:16:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 01:53:42.543540
• Title: Identity-free Artificial Emotional Intelligence via Micro-Gesture Understanding
• Title（参考訳）: マイクロジェスチャ理解によるアイデンティティフリーな人工感情知
• Authors: Rong Gao, Xin Liu, Bohao Xing, Zitong Yu, Bjorn W. Schuller, Heikki Kälviäinen,
• Abstract要約: 我々は、人体言語の特殊グループ、マイクロ・ジェスチャ(MG)に焦点を当てる。 MGは、意図的な行動ではなく、内的感情によって引き起こされる意図しない行動である。 本研究は,マイクロ・ジェスチャの微妙な空間的および短時間の時間的特性を考慮し,反復性を伴う様々な拡張戦略を探求し,より適切な拡張方法を決定する。
• 参考スコア（独自算出の注目度）: 21.94739567923136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we focus on a special group of human body language -- the micro-gesture (MG), which differs from the range of ordinary illustrative gestures in that they are not intentional behaviors performed to convey information to others, but rather unintentional behaviors driven by inner feelings. This characteristic introduces two novel challenges regarding micro-gestures that are worth rethinking. The first is whether strategies designed for other action recognition are entirely applicable to micro-gestures. The second is whether micro-gestures, as supplementary data, can provide additional insights for emotional understanding. In recognizing micro-gestures, we explored various augmentation strategies that take into account the subtle spatial and brief temporal characteristics of micro-gestures, often accompanied by repetitiveness, to determine more suitable augmentation methods. Considering the significance of temporal domain information for micro-gestures, we introduce a simple and efficient plug-and-play spatiotemporal balancing fusion method. We not only studied our method on the considered micro-gesture dataset but also conducted experiments on mainstream action datasets. The results show that our approach performs well in micro-gesture recognition and on other datasets, achieving state-of-the-art performance compared to previous micro-gesture recognition methods. For emotional understanding based on micro-gestures, we construct complex emotional reasoning scenarios. Our evaluation, conducted with large language models, shows that micro-gestures play a significant and positive role in enhancing comprehensive emotional understanding. The scenarios we developed can be extended to other micro-gesture-based tasks such as deception detection and interviews. We confirm that our new insights contribute to advancing research in micro-gesture and emotional artificial intelligence.
• Abstract（参考訳）: 本研究は,人体言語の特殊グループであるマイクロ・ジェスチャ(MG)に焦点を当て,内的感情によって引き起こされる意図的行動ではなく,内的感情によって引き起こされる意図的行動である,通常の説明的行動とは異なっている。 この特徴は、再考に値する2つの新しい課題をもたらす。 1つ目は、他のアクション認識のために設計された戦略が、マイクロジェスチャーに適用できるかどうかである。 2つ目は、補足データとして、感情的な理解にさらなる洞察を与えることができるかどうかである。 そこで我々は,マイクロ・ジェスチャの微妙な空間的・短時間の時間的特徴を考慮し,より適切なオースメント法を決定するために,マイクロ・ジェスチャの認識において,マイクロ・ジェスチャの微妙な時間的特徴を考慮に入れた様々なオースメント戦略を検討した。 微小妊娠における時間領域情報の重要性を考慮し, 簡易かつ効率的な時空間分散融合法を提案する。 提案手法について検討しただけでなく,本研究の主流となる行動データセットについても実験を行った。 その結果,本手法は,従来のマイクロ・ジェスチャ認識法と比較して,従来のマイクロ・ジェスチャ認識法と比較して,最先端の性能を達成し,マイクロ・ジェスチャ認識や他のデータセットで良好に機能することが示された。 微小な姿勢に基づく感情理解のために,我々は複雑な感情的推論シナリオを構築した。 大規模言語モデルを用いて行った評価は, 包括的感情理解を深める上で, マイクロジェスチャーが有意かつ肯定的な役割を担っていることを示唆している。 私たちが開発したシナリオは、詐欺検出やインタビューなど、他のマイクロジェスチャーベースのタスクにも拡張できます。 我々は、我々の新しい洞察が、マイクロ・ジェスチャと感情的人工知能の研究の進展に寄与していることを確認した。

関連論文リスト

• Neuron: Learning Context-Aware Evolving Representations for Zero-Shot Skeleton Action Recognition [64.56321246196859]
  本稿では,dUalスケルトン・セマンティック・セマンティック・セマンティック・セマンティック・シンジスティック・フレームワークを提案する。 まず、時空間進化型マイクロプロトタイプを構築し、動的コンテキスト認識側情報を統合する。 本研究では,空間的圧縮と時間的記憶機構を導入し,空間的時間的マイクロプロトタイプの成長を導く。
  論文  参考訳（メタデータ） (2024-11-18T05:16:11Z)
• MMAD: Multi-label Micro-Action Detection in Videos [23.508563348306534]
  MMAD(Multi-label Micro-Action Detection)と呼ばれる新しいタスクを提案する。 MMADは、与えられたショートビデオ内のすべてのマイクロアクションを特定し、開始時間と終了時間を決定し、それらを分類する。 MMADタスクを支援するために,MMA-52(Multi-label Micro-Action-52)と呼ばれる新しいデータセットを導入する。
  論文  参考訳（メタデータ） (2024-07-07T09:45:14Z)
• Adaptive Temporal Motion Guided Graph Convolution Network for Micro-expression Recognition [48.21696443824074]
  ATM-GCN(Adaptive Temporal Motion Guided Graph Convolution Network)と呼ばれる,マイクロ圧縮認識のための新しいフレームワークを提案する。 本フレームワークは,クリップ全体のフレーム間の時間的依存関係の把握に優れ,クリップレベルでのマイクロ圧縮認識が向上する。
  論文  参考訳（メタデータ） (2024-06-13T10:57:24Z)
• GPT as Psychologist? Preliminary Evaluations for GPT-4V on Visual Affective Computing [74.68232970965595]
  MLLM(Multimodal large language model)は、テキスト、音声、画像、ビデオなどの複数のソースからの情報を処理し、統合するように設計されている。 本稿では、視覚的情緒的タスクと推論タスクにまたがる5つの重要な能力を持つMLLMの適用性を評価する。
  論文  参考訳（メタデータ） (2024-03-09T13:56:25Z)
• Benchmarking Micro-action Recognition: Dataset, Methods, and Applications [26.090557725760934]
  マイクロアクションは、低強度運動によって特徴づけられる非言語行動である。 本研究では,マイクロアクション52(MA-52)と呼ばれる新しいマイクロアクションデータセットを革新的に収集する。 MA-52は、ジェスチャー、上肢、下肢の動きを含む全身的な視点を提供する。
  論文  参考訳（メタデータ） (2024-03-08T11:48:44Z)
• Video-based Facial Micro-Expression Analysis: A Survey of Datasets, Features and Algorithms [52.58031087639394]
  マイクロ表現は不随意かつ過渡的な表情である。 嘘検出や犯罪検出など、幅広い応用において重要な情報を提供することができる。 マイクロ表現は過渡的で低強度であるため、検出と認識は困難であり、専門家の経験に大きく依存する。
  論文  参考訳（メタデータ） (2022-01-30T05:14:13Z)
• Short and Long Range Relation Based Spatio-Temporal Transformer for Micro-Expression Recognition [61.374467942519374]
  我々は,マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチである,新しいアテンポ的トランスフォーマーアーキテクチャを提案する。 空間パターンを学習する空間エンコーダと、時間的分析のための時間的次元分類と、ヘッドとを備える。 広範に使用されている3つの自発的マイクロ圧縮データセットに対する総合的な評価は,提案手法が一貫して芸術の状態を上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-10T22:10:31Z)
• iMiGUE: An Identity-free Video Dataset for Micro-Gesture Understanding and Emotion Analysis [23.261770969903065]
  iMiGUE(iMiGUE)は、マイクロジェスチャ理解・感情分析のためのアイデンティティフリービデオデータセットである。 iMiGUEは、内的感情によって引き起こされる意図しない行動(micro-gesture)に焦点を当てている。
  論文  参考訳（メタデータ） (2021-07-01T08:15:14Z)
• Micro-expression spotting: A new benchmark [74.69928316848866]
  マイクロ表現(ME)は、人々が本当の感情を隠そうとしたり、感情を隠そうとするときに起こる、簡潔で不随意の表情である。 コンピュータビジョンの分野では、MEの研究はスポッティングと認識という2つの主要なタスクに分けられる。 本稿ではSMIC-Eデータベースの拡張,すなわちSMIC-E-Longデータベースを紹介する。
  論文  参考訳（メタデータ） (2020-07-24T09:18:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。