論文の概要: iMiGUE: An Identity-free Video Dataset for Micro-Gesture Understanding
and Emotion Analysis
- arxiv url: http://arxiv.org/abs/2107.00285v1
- Date: Thu, 1 Jul 2021 08:15:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-02 21:39:36.964873
- Title: iMiGUE: An Identity-free Video Dataset for Micro-Gesture Understanding
and Emotion Analysis
- Title(参考訳): iMiGUE:マイクロジェスチャー理解と感情分析のためのアイデンティティフリービデオデータセット
- Authors: Xin Liu, Henglin Shi, Haoyu Chen, Zitong Yu, Xiaobai Li, Guoying
Zhaoz?
- Abstract要約: iMiGUE(iMiGUE)は、マイクロジェスチャ理解・感情分析のためのアイデンティティフリービデオデータセットである。
iMiGUEは、内的感情によって引き起こされる意図しない行動(micro-gesture)に焦点を当てている。
- 参考スコア(独自算出の注目度): 23.261770969903065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a new dataset for the emotional artificial intelligence
research: identity-free video dataset for Micro-Gesture Understanding and
Emotion analysis (iMiGUE). Different from existing public datasets, iMiGUE
focuses on nonverbal body gestures without using any identity information,
while the predominant researches of emotion analysis concern sensitive
biometric data, like face and speech. Most importantly, iMiGUE focuses on
micro-gestures, i.e., unintentional behaviors driven by inner feelings, which
are different from ordinary scope of gestures from other gesture datasets which
are mostly intentionally performed for illustrative purposes. Furthermore,
iMiGUE is designed to evaluate the ability of models to analyze the emotional
states by integrating information of recognized micro-gesture, rather than just
recognizing prototypes in the sequences separately (or isolatedly). This is
because the real need for emotion AI is to understand the emotional states
behind gestures in a holistic way. Moreover, to counter for the challenge of
imbalanced sample distribution of this dataset, an unsupervised learning method
is proposed to capture latent representations from the micro-gesture sequences
themselves. We systematically investigate representative methods on this
dataset, and comprehensive experimental results reveal several interesting
insights from the iMiGUE, e.g., micro-gesture-based analysis can promote
emotion understanding. We confirm that the new iMiGUE dataset could advance
studies of micro-gesture and emotion AI.
- Abstract(参考訳): 感情的人工知能研究のための新しいデータセット:iMiGUE(Micro-Gesture Understanding and Emotion Analysis)のためのアイデンティティフリービデオデータセットを紹介する。
既存の公開データセットとは異なり、imigueは身元情報を使用しない非言語的な身体のジェスチャーに焦点を当てている。
最も重要なのは、マイクロジェスチャ、すなわち内なる感情によって引き起こされる意図しない行動に焦点をあてることである。
さらに、イミグは、単に配列内のプロトタイプを別々に(あるいは孤立的に)認識するのではなく、認識されたマイクロジェスチャの情報を統合することによって、感情状態を分析するモデルの能力を評価するように設計されている。
これは、感情に対する真の必要性は、ジェスチャの背後にある感情状態を完全に理解することである。
さらに, このデータセットの不均衡なサンプル分布に対処するために, マイクロジェスチャシーケンス自体から潜伏表現をキャプチャする教師なし学習手法を提案する。
本データセットにおける代表的手法を体系的に検討し, 総合的な実験結果から, イミグから得られたいくつかの興味深い知見,例えば, マイクロジェスチャに基づく分析が感情理解を促進することを明らかにする。
新しいiMiGUEデータセットは、マイクロジェスチャーと感情AIの研究を進展させる可能性があることを確認した。
関連論文リスト
- MEMO-Bench: A Multiple Benchmark for Text-to-Image and Multimodal Large Language Models on Human Emotion Analysis [53.012111671763776]
そこで本研究では、7,145枚の肖像画からなる総合的なベンチマークであるMEMO-Benchを紹介した。
以上の結果から,既存のT2Iモデルは負のモデルよりも肯定的な感情を生成するのに効果的であることが示唆された。
MLLMは人間の感情の識別と認識に一定の効果を示すが、人間のレベルの正確さには欠ける。
論文 参考訳(メタデータ) (2024-11-18T02:09:48Z) - Expansion Quantization Network: An Efficient Micro-emotion Annotation and Detection Framework [2.0209172586699173]
本稿では,ラベル値をエネルギー強度レベルにマッピングする全ラベルおよびトレーニングセットラベル回帰法を提案する。
これにより、マイクロ感情検出とアノテーションのための感情量子化ネットワーク(EQN)フレームワークが確立された。
EQNフレームワークは、エネルギーレベルスコアで自動マイクロ感情アノテーションを実現する最初のフレームワークである。
論文 参考訳(メタデータ) (2024-11-09T12:09:26Z) - Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors [63.194053817609024]
視覚行動は、視覚行動支援型マルチモーダル感情認識データセットを作成するための重要な感情的手がかりとなる。
EMERデータセットに感情認識(ER)と表情認識(FER)の両方のアノテーションを初めて提供する。
具体的には、ERとFERの両方のパフォーマンスを同時に向上する新しいEMERTアーキテクチャを設計する。
論文 参考訳(メタデータ) (2024-11-08T04:53:55Z) - Identity-free Artificial Emotional Intelligence via Micro-Gesture Understanding [21.94739567923136]
我々は、人体言語の特殊グループ、マイクロ・ジェスチャ(MG)に焦点を当てる。
MGは、意図的な行動ではなく、内的感情によって引き起こされる意図しない行動である。
本研究は,マイクロ・ジェスチャの微妙な空間的および短時間の時間的特性を考慮し,反復性を伴う様々な拡張戦略を探求し,より適切な拡張方法を決定する。
論文 参考訳(メタデータ) (2024-05-21T21:16:55Z) - Benchmarking Micro-action Recognition: Dataset, Methods, and Applications [26.090557725760934]
マイクロアクションは、低強度運動によって特徴づけられる非言語行動である。
本研究では,マイクロアクション52(MA-52)と呼ばれる新しいマイクロアクションデータセットを革新的に収集する。
MA-52は、ジェスチャー、上肢、下肢の動きを含む全身的な視点を提供する。
論文 参考訳(メタデータ) (2024-03-08T11:48:44Z) - Seeking Subjectivity in Visual Emotion Distribution Learning [93.96205258496697]
視覚感情分析(VEA)は、人々の感情を異なる視覚刺激に向けて予測することを目的としている。
既存の手法では、集団投票プロセスにおいて固有の主観性を無視して、統合されたネットワークにおける視覚的感情分布を予測することが多い。
視覚的感情分布の主観性を調べるために,新しいテキストサブジェクティビティ評価ネットワーク(SAMNet)を提案する。
論文 参考訳(メタデータ) (2022-07-25T02:20:03Z) - Video-based Facial Micro-Expression Analysis: A Survey of Datasets,
Features and Algorithms [52.58031087639394]
マイクロ表現は不随意かつ過渡的な表情である。
嘘検出や犯罪検出など、幅広い応用において重要な情報を提供することができる。
マイクロ表現は過渡的で低強度であるため、検出と認識は困難であり、専門家の経験に大きく依存する。
論文 参考訳(メタデータ) (2022-01-30T05:14:13Z) - INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。
我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。
我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文 参考訳(メタデータ) (2021-08-25T07:35:21Z) - Analyzing the Influence of Dataset Composition for Emotion Recognition [0.0]
我々は2つのマルチモーダル感情認識データセットにおける影響データ収集手法の分析を行った。
完全なIEMOCAPデータセットを用いた実験は、構成がOMG-Emotion Behaviorデータセットと比較して一般化性能に悪影響を及ぼすことを示している。
論文 参考訳(メタデータ) (2021-03-05T14:20:59Z) - Micro-expression spotting: A new benchmark [74.69928316848866]
マイクロ表現(ME)は、人々が本当の感情を隠そうとしたり、感情を隠そうとするときに起こる、簡潔で不随意の表情である。
コンピュータビジョンの分野では、MEの研究はスポッティングと認識という2つの主要なタスクに分けられる。
本稿ではSMIC-Eデータベースの拡張,すなわちSMIC-E-Longデータベースを紹介する。
論文 参考訳(メタデータ) (2020-07-24T09:18:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。