論文の概要: MultiHuSE: A Multimodal Dataset for Humour Styles and Emotions

• arxiv url: http://arxiv.org/abs/2609.11322v1
• Date: Thu, 10 Sep 2026 09:50:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.298804
• Title: MultiHuSE: A Multimodal Dataset for Humour Styles and Emotions
• Title（参考訳）: MultiHuSE: ヒューマースタイルと感情のためのマルチモーダルデータセット
• Abstract要約: MultiHuSEは、人口統計学的に多彩な50人のアクターが1,463のテキストサンプルを実行する2,407本のハイデフィニションビデオからなるマルチモーダルデータセットである。 このデータセットは、同じテキストの複数のアクター解釈をユニークにキャプチャし、表現多様性の体系的な分析を可能にする。 ベースライン実験により、マルチモーダル融合はユーモアスタイルの分類において一様アプローチより優れていることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computational recognition of verbal humour remains a challenging task, requiring an understanding of language, delivery style, emotions, and cultural context. Most existing approaches focus on binary classification and lack datasets that capture psychological dimensions of humour alongside variations in expression. We introduce MultiHuSE, a multimodal dataset comprising 2,407 high-definition videos of 50 demographically diverse actors performing 1,463 text samples across four psychological humour styles (affiliative, aggressive, self-enhancing, and self-deprecating), as well as neutral content. A subset is additionally annotated for underlying emotions. The dataset uniquely captures multiple actor interpretations of the same texts, enabling systematic analysis of expressive diversity. Baseline experiments show that multimodal fusion outperforms unimodal approaches (80.1% vs. 77.4% accuracy) in humour style classification, with particularly strong gains for affiliative humour (66% to 74%). While text provides the strongest individual signal, fusion models deliver meaningful improvements. We hope that MultiHuSE provides empirical support for psychological theories linking humour and emotion, while also opening new avenues for research in human communication, well-being, and AI-driven interaction. The dataset is available for academic use under an End-User Licence Agreement.
• Abstract（参考訳）: 言葉のユーモアの計算的認識は、言語、デリバリスタイル、感情、文化的な文脈を理解する必要があるため、依然として難しい課題である。 既存のアプローチのほとんどはバイナリ分類に重点を置いており、表現のバリエーションとともにユーモアの心理的次元を捉えるデータセットが欠如している。 我々は4つの心理ユーモアスタイル(アフィリエイト、アグレッシブ、セルフエンハンシング、自己非推奨)で1,463のテキストサンプルを実行する50人の人口統計学的多様なアクターからなる2,407人のハイデフィニション・ビデオからなるマルチモーダル・データセットであるMultiHuSEを紹介した。 サブセットは、下層の感情に付加注釈を付ける。 このデータセットは、同じテキストの複数のアクター解釈をユニークにキャプチャし、表現多様性の体系的な分析を可能にする。 ベースライン実験では、マルチモーダル核融合はユーモアスタイルの分類において一様アプローチ(80.1%対77.4%の精度)より優れており、特にアフィリエティブユーモア(66%から74%)の利得が強い。 テキストは最も強い信号を提供するが、融合モデルは有意義な改善をもたらす。 我々は、MultiHuSEがユーモアと感情を結びつける心理学理論を実証的に支援し、人間のコミュニケーション、幸福、AIによるインタラクションの研究のための新たな道を開くことを願っている。 データセットはEnd-User Licence Agreementの下で学術的に利用することができる。

関連論文リスト

• HUG-VIS: A Multimodal Benchmark for Human-centered Understanding and Generation in Visual Intelligence [82.1284258781622]
  視覚知能は、視覚世界を理解し、解釈し、合成しようとする。 HUG-VISは、ビジュアルインテリジェンスにおける人間中心の理解と生成のための統一されたベンチマークである。
  論文  参考訳（メタデータ） (2026-08-27T01:43:47Z)
• SpEmoC: A Balanced Speaker-Segment Multimodal Emotion Benchmark [17.86278976364124]
  英語映画3100本とテレビシリーズの生クリップ306,544本からなるSpeEmoC a Speech segment Emotion for Conversationsを紹介した。 それらから3万の高品質で、クラスバランスの取れたクリップがキュレーションされ、7つの感情に注釈付けされた視覚、音声、テキストのモダリティが同期される。 SpEmoCは厳密な映画とシリーズレベルの分割を使用して、分割セット間のコンテンツオーバーラップを防止し、モデルの一般化をより信頼性の高い評価を可能にする。
  論文  参考訳（メタデータ） (2026-07-20T16:08:24Z)
• Leveraging Cross-Attention Transformer and Multi-Feature Fusion for Cross-Linguistic Speech Emotion Recognition [60.58049741496505]
  音声感情認識(SER)は、人間とコンピュータの相互作用を強化する上で重要な役割を担っている。 本稿では,HuBERT,MFCC,および韻律特性を組み合わせたHuMP-CATを提案する。 HMP-CATは、ターゲットデータセットから少量の音声でソースモデルを微調整することにより、平均78.75%の精度が得られることを示す。
  論文  参考訳（メタデータ） (2025-01-06T14:31:25Z)
• The MuSe 2024 Multimodal Sentiment Analysis Challenge: Social Perception and Humor Recognition [64.5207572897806]
  マルチモーダル・センティメント・アナリティクス・チャレンジ (MuSe) 2024は、現代の2つのマルチモーダル・インフルエンスと感情分析の問題に対処する。 Social Perception Sub-Challenge (MuSe-Perception)では、参加者は16種類の個人の社会的属性を予測する。 クロスカルカルカルチャー・ヒューモー検出サブチャレンジ(MuSe-Humor)データセットは、Passau Spontaneous Football Coach Humorデータセット上に拡張される。
  論文  参考訳（メタデータ） (2024-06-11T22:26:20Z)
• Effect of Attention and Self-Supervised Speech Embeddings on Non-Semantic Speech Tasks [3.570593982494095]
  我々は、より現実的な認識課題として、音声感情理解を考察する。 我々は,ComParEの多言語話者の豊富なデータセットと,その感情の「感情共有」や知覚の多言語回帰ターゲットを利用する。 以上の結果から,HuBERT-Largeの自己アテンションに基づく軽量シーケンスモデルでは,報告されたベースラインよりも4.6%向上していることがわかった。
  論文  参考訳（メタデータ） (2023-08-28T07:11:27Z)
• The MuSe 2023 Multimodal Sentiment Analysis Challenge: Mimicked Emotions, Cross-Cultural Humour, and Personalisation [69.13075715686622]
  MuSe 2023は、現代の3つの異なるマルチモーダル感情と感情分析の問題に対処する共有タスクの集合である。 MuSe 2023は、さまざまな研究コミュニティから幅広いオーディエンスを集めようとしている。
  論文  参考訳（メタデータ） (2023-05-05T08:53:57Z)
• Towards Multimodal Prediction of Spontaneous Humour: A Novel Dataset and First Results [84.37263300062597]
  風は人間の社会的行動、感情、認知の重要な要素である。 現在のユーモア検出法は、ステージ化されたデータのみに基づいており、「現実世界」の応用には不十分である。 約11時間の記録を含むPassau-Spontaneous Football Coach Humorデータセットを導入することで,この障害への対処に寄与する。
  論文  参考訳（メタデータ） (2022-09-28T17:36:47Z)
• M2H2: A Multimodal Multiparty Hindi Dataset For Humor Recognition in Conversations [72.81164101048181]
  テレビシリーズ『Shrimaan Shrimati Phir Se』の13話から6,191発の発声を含む会話におけるマルチモーダル・マルチパーティ・ヒンディー・ヒューム(M2H2)認識のためのデータセットを提案する。 それぞれの発話はユーモア/非感情ラベルでアノテートされ、音響、視覚、テキストのモダリティを含む。 M2H2データセットにおける実験結果から,マルチモーダル情報はユーモア認識のための単調な情報を補完することが示された。
  論文  参考訳（メタデータ） (2021-08-03T02:54:09Z)
• Video Sentiment Analysis with Bimodal Information-augmented Multi-Head Attention [7.997124140597719]
  本研究では,複数のモダリティの時系列データを含むビデオの感情分析に注目する。 重要な問題は、これらの異種データをどのように融合するかです。 バイモーダル相互作用に基づいて、より重要なバイモーダル特徴はより大きな重みが割り当てられる。
  論文  参考訳（メタデータ） (2021-03-03T12:30:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。