論文の概要: Towards Multimodal Prediction of Spontaneous Humour: A Novel Dataset and First Results
- arxiv url: http://arxiv.org/abs/2209.14272v3
- Date: Mon, 8 Jul 2024 10:50:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 05:52:24.731089
- Title: Towards Multimodal Prediction of Spontaneous Humour: A Novel Dataset and First Results
- Title（参考訳）: 自発ハマーのマルチモーダル予測に向けて:新しいデータセットと最初の結果
- Authors: Lukas Christ, Shahin Amiriparian, Alexander Kathan, Niklas Müller, Andreas König, Björn W. Schuller,
- Abstract要約: 風は人間の社会的行動、感情、認知の重要な要素である。
現在のユーモア検出法は、ステージ化されたデータのみに基づいており、「現実世界」の応用には不十分である。
約11時間の記録を含むPassau-Spontaneous Football Coach Humorデータセットを導入することで,この障害への対処に寄与する。
- 参考スコア（独自算出の注目度）: 84.37263300062597
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Humor is a substantial element of human social behavior, affect, and cognition. Its automatic understanding can facilitate a more naturalistic human-AI interaction. Current methods of humor detection have been exclusively based on staged data, making them inadequate for "real-world" applications. We contribute to addressing this deficiency by introducing the novel Passau-Spontaneous Football Coach Humor (Passau-SFCH) dataset, comprising about 11 hours of recordings. The Passau-SFCH dataset is annotated for the presence of humor and its dimensions (sentiment and direction) as proposed in Martin's Humor Style Questionnaire. We conduct a series of experiments employing pretrained Transformers, convolutional neural networks, and expert-designed features. The performance of each modality (text, audio, video) for spontaneous humor recognition is analyzed and their complementarity is investigated. Our findings suggest that for the automatic analysis of humor and its sentiment, facial expressions are most promising, while humor direction can be best modeled via text-based features. Further, we experiment with different multimodal approaches to humor recognition, including decision-level fusion and MulT, a multimodal Transformer approach. In this context, we propose a novel multimodal architecture that yields the best overall results. Finally, we make our code publicly available at https://www.github.com/lc0197/passau-sfch. The Passau-SFCH dataset is available upon request.
- Abstract（参考訳）: 風は人間の社会的行動、感情、認知の重要な要素である。
その自動理解は、より自然主義的な人間とAIの相互作用を促進する。
現在のユーモア検出法は、ステージ化されたデータのみに基づいており、「現実世界」の応用には不十分である。
約11時間の記録を含むPassau-Spontaneous Football Coach Humor (Passau-SFCH) データセットの導入により,この障害への対処に寄与する。
Passau-SFCHデータセットは、マーティンのHummor Style Questionnaireで提案されているように、ユーモアの存在とその次元(感覚と方向)に注釈付けされている。
我々は、事前訓練されたトランスフォーマー、畳み込みニューラルネットワーク、専門家が設計した特徴を利用した一連の実験を行っている。
自発的なユーモア認識のための各モダリティ(テキスト,音声,ビデオ)の分析を行い,その相補性について検討した。
以上の結果から, ユーモアの自動分析と感情分析において, 表情は最も有望であり, ユーモアの方向はテキストベースの特徴によってモデル化される可能性が示唆された。
さらに、判定レベル融合やマルチモーダルトランスフォーマーアプローチであるMulTなど、ユーモア認識に対する様々なマルチモーダルアプローチを実験する。
この文脈では、最も優れた総合的な結果をもたらす新しいマルチモーダルアーキテクチャを提案する。
最後に、私たちのコードはhttps://www.github.com/lc0197/passau-sfch.comで公開しています。
Passau-SFCHデータセットは、要求に応じて利用できる。
関連論文リスト
- Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。
本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。
大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
論文 参考訳（メタデータ） (2024-09-13T18:28:12Z) - Can Pre-trained Language Models Understand Chinese Humor? [74.96509580592004]
本論文は,事前学習言語モデル(PLM)のユーモア理解能力を体系的に研究する最初の論文である。
提案した評価フレームワークのすべてのデータ要件を完全に満たす中国の総合的ユーモアデータセットを構築した。
中国のユーモアデータセットに関する実証的研究は、ユーモア理解と生成におけるPLMの将来の最適化に非常に役立つ貴重な観察結果をもたらす。
論文 参考訳（メタデータ） (2024-07-04T18:13:38Z) - The MuSe 2024 Multimodal Sentiment Analysis Challenge: Social Perception and Humor Recognition [64.5207572897806]
マルチモーダル・センティメント・アナリティクス・チャレンジ (MuSe) 2024は、現代の2つのマルチモーダル・インフルエンスと感情分析の問題に対処する。
Social Perception Sub-Challenge (MuSe-Perception)では、参加者は16種類の個人の社会的属性を予測する。
クロスカルカルカルチャー・ヒューモー検出サブチャレンジ(MuSe-Humor)データセットは、Passau Spontaneous Football Coach Humorデータセット上に拡張される。
論文 参考訳（メタデータ） (2024-06-11T22:26:20Z) - Humor Mechanics: Advancing Humor Generation with Multistep Reasoning [11.525355831490828]
マルチステップ推論を用いたユーモア生成のための動作プロトタイプを開発した。
提案手法を,人間によるジョーク,ゼロショットGPT-4生成ユーモア,その他ベースラインと比較した。
以上の結果から,多段階推論手法は生成したユーモアの質を継続的に改善することが示された。
論文 参考訳（メタデータ） (2024-05-12T13:00:14Z) - Getting Serious about Humor: Crafting Humor Datasets with Unfunny Large Language Models [27.936545041302377]
大規模言語モデル(LLM)は、テキストを編集することでユーモア検出のための合成データを生成することができる。
我々は、既存の人間のデータセット上でLLMをベンチマークし、現在のLLMは、ジョークを「不快に」する印象的な能力を示すことを示す。
我々は、GPT-4の合成データがバイリンガルアノテータによって高度に評価されているという、コード混成のイングリッシュ・ヒンディー語ユーモアデータセットにアプローチを拡張した。
論文 参考訳（メタデータ） (2024-02-23T02:58:12Z) - ChatAnything: Facetime Chat with LLM-Enhanced Personas [87.76804680223003]
多様な音声・外観生成のための音声(MoV)とディフューザ(MoD)の混合を提案する。
MoVでは,テキスト音声合成(TTS)アルゴリズムを様々な事前定義された音色で活用する。
近年普及しているテキスト・画像生成技術とトーキングヘッドアルゴリズムを組み合わせることで,音声オブジェクトの生成プロセスの合理化を図る。
論文 参考訳（メタデータ） (2023-11-12T08:29:41Z) - MAGIC-TBR: Multiview Attention Fusion for Transformer-based Bodily
Behavior Recognition in Group Settings [9.185580170954802]
本稿では,ビデオから抽出した特徴と対応する離散コサイン変換係数を変換器を用いたアプローチで組み合わせた多視点アテンション融合法MAGIC-TBRを提案する。
BBSIデータセットを用いて実験を行い,提案手法の有効性について検討した。
論文 参考訳（メタデータ） (2023-09-19T17:04:36Z) - Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。
我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。
本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
論文 参考訳（メタデータ） (2022-04-18T17:58:04Z) - Laughing Heads: Can Transformers Detect What Makes a Sentence Funny? [18.67834526946997]
我々は、最小組の文からなるデータセット上で、トランスフォーマーに基づくユーモア認識モデルを訓練し、分析する。
一致したデータセットは以前のデータセットよりもはるかに難しいが、トランスフォーマーベースのモデルは、高精度(78%)の一致したペアでユーモラスな文を認識する。
最も顕著なことは、訓練時にこの情報にアクセスしなくても、一つの注意頭がテスト文をユーモラスにする単語を認識することを学ぶという明確な証拠を見つけることである。
論文 参考訳（メタデータ） (2021-05-19T14:02:25Z) - ColBERT: Using BERT Sentence Embedding in Parallel Neural Networks for
Computational Humor [0.0]
本稿では,ユーモアの一般的な言語理論に基づいて,短いテキストでユーモアを検出・評価するための新しいアプローチを提案する。
提案手法は,与えられたテキストの文を分離し,BERTモデルを用いて各テキストの埋め込みを生成する。
我々はこの論文に、20万の形式的な短文からなるユーモア検出のための新しいデータセットを添付した。
提案モデルでは, 一般モデル, 最先端モデルより優れるユーモア検出実験において, 0.982, 0.869のF1スコアを得た。
論文 参考訳（メタデータ） (2020-04-27T13:10:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。