論文の概要: Multimodal Prediction of Spontaneous Humour: A Novel Dataset and First Results

• arxiv url: http://arxiv.org/abs/2209.14272v1
• Date: Wed, 28 Sep 2022 17:36:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 15:52:07.889128
• Title: Multimodal Prediction of Spontaneous Humour: A Novel Dataset and First Results
• Title（参考訳）: 自発的ユーモアのマルチモーダル予測:新しいデータセットと第1報
• Authors: Lukas Christ, Shahin Amiriparian, Alexander Kathan, Niklas M\"uller, Andreas K\"onig, Bj\"orn W. Schuller
• Abstract要約: ヒューモアは人間の感情と認知の重要な要素である。 ユーモア検出の現在の方法は、単にステージ化されたデータに基づいており、'現実世界'のアプリケーションには不十分である。 約11時間の録音を含むPassau-Spontaneous Football Coach Humourデータセットについて紹介する。
• 参考スコア（独自算出の注目度）: 58.84838232259392
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Humour is a substantial element of human affect and cognition. Its automatic understanding can facilitate a more naturalistic human-device interaction and the humanisation of artificial intelligence. Current methods of humour detection are solely based on staged data making them inadequate for 'real-world' applications. We address this deficiency by introducing the novel Passau-Spontaneous Football Coach Humour (Passau-SFCH) dataset, comprising of about 11 hours of recordings. The Passau-SFCH dataset is annotated for the presence of humour and its dimensions (sentiment and direction) as proposed in Martin's Humor Style Questionnaire. We conduct a series of experiments, employing pretrained Transformers, convolutional neural networks, and expert-designed features. The performance of each modality (text, audio, video) for spontaneous humour recognition is analysed and their complementarity is investigated. Our findings suggest that for the automatic analysis of humour and its sentiment, facial expressions are most promising, while humour direction can be best modelled via text-based features. The results reveal considerable differences among various subjects, highlighting the individuality of humour usage and style. Further, we observe that a decision-level fusion yields the best recognition result. Finally, we make our code publicly available at https://www.github.com/EIHW/passau-sfch. The Passau-SFCH dataset is available upon request.
• Abstract（参考訳）: ヒューモアは人間の感情と認知の重要な要素である。 その自動理解は、より自然なヒューマンデバイスインタラクションと人工知能の人間化を促進する。 ユーモア検出の現在の方法は、単にステージ化されたデータに基づいており、実際のアプリケーションでは不十分である。 本稿では,パスタウ・スポンタンス・フットボール・コーチ・ヒューマー (Passau-SFCH) のデータセットを導入し,約11時間にわたる記録を行った。 Passau-SFCHデータセットは、マーティンのHummor Style Questionnaireで提案されているように、ユーモアの存在とその次元(知覚と方向)について注釈付けされている。 我々は,事前学習されたトランスフォーマー,畳み込みニューラルネットワーク,エキスパートが設計した機能を用いて,一連の実験を行う。 自発的ユーモア認識のための各モード(テキスト,音声,ビデオ)の性能を分析し,その相補性を検討した。 以上の結果から,ユーモアと感情の自動分析では表情が最も有望であり,ユーモアの方向性はテキストベースの機能でモデル化できることが示唆された。 その結果,ユーモアの用法とスタイルの個性に顕著な違いが認められた。 さらに,決定レベルの融合が最良の認識結果をもたらすことを観察する。 最後に、コードはhttps://www.github.com/eihw/passau-sfchで公開しています。 Passau-SFCHデータセットは、要求に応じて利用できる。

関連論文リスト

• Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
  我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。 本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。 大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
  論文  参考訳（メタデータ） (2024-09-13T18:28:12Z)
• Can Pre-trained Language Models Understand Chinese Humor? [74.96509580592004]
  本論文は,事前学習言語モデル(PLM)のユーモア理解能力を体系的に研究する最初の論文である。 提案した評価フレームワークのすべてのデータ要件を完全に満たす中国の総合的ユーモアデータセットを構築した。 中国のユーモアデータセットに関する実証的研究は、ユーモア理解と生成におけるPLMの将来の最適化に非常に役立つ貴重な観察結果をもたらす。
  論文  参考訳（メタデータ） (2024-07-04T18:13:38Z)
• The MuSe 2024 Multimodal Sentiment Analysis Challenge: Social Perception and Humor Recognition [64.5207572897806]
  マルチモーダル・センティメント・アナリティクス・チャレンジ (MuSe) 2024は、現代の2つのマルチモーダル・インフルエンスと感情分析の問題に対処する。 Social Perception Sub-Challenge (MuSe-Perception)では、参加者は16種類の個人の社会的属性を予測する。 クロスカルカルカルチャー・ヒューモー検出サブチャレンジ(MuSe-Humor)データセットは、Passau Spontaneous Football Coach Humorデータセット上に拡張される。
  論文  参考訳（メタデータ） (2024-06-11T22:26:20Z)
• Humor Mechanics: Advancing Humor Generation with Multistep Reasoning [11.525355831490828]
  マルチステップ推論を用いたユーモア生成のための動作プロトタイプを開発した。 提案手法を,人間によるジョーク,ゼロショットGPT-4生成ユーモア,その他ベースラインと比較した。 以上の結果から,多段階推論手法は生成したユーモアの質を継続的に改善することが示された。
  論文  参考訳（メタデータ） (2024-05-12T13:00:14Z)
• Getting Serious about Humor: Crafting Humor Datasets with Unfunny Large Language Models [27.936545041302377]
  大規模言語モデル(LLM)は、テキストを編集することでユーモア検出のための合成データを生成することができる。 我々は、既存の人間のデータセット上でLLMをベンチマークし、現在のLLMは、ジョークを「不快に」する印象的な能力を示すことを示す。 我々は、GPT-4の合成データがバイリンガルアノテータによって高度に評価されているという、コード混成のイングリッシュ・ヒンディー語ユーモアデータセットにアプローチを拡張した。
  論文  参考訳（メタデータ） (2024-02-23T02:58:12Z)
• ChatAnything: Facetime Chat with LLM-Enhanced Personas [87.76804680223003]
  多様な音声・外観生成のための音声(MoV)とディフューザ(MoD)の混合を提案する。 MoVでは,テキスト音声合成(TTS)アルゴリズムを様々な事前定義された音色で活用する。 近年普及しているテキスト・画像生成技術とトーキングヘッドアルゴリズムを組み合わせることで,音声オブジェクトの生成プロセスの合理化を図る。
  論文  参考訳（メタデータ） (2023-11-12T08:29:41Z)
• MAGIC-TBR: Multiview Attention Fusion for Transformer-based Bodily Behavior Recognition in Group Settings [9.185580170954802]
  本稿では,ビデオから抽出した特徴と対応する離散コサイン変換係数を変換器を用いたアプローチで組み合わせた多視点アテンション融合法MAGIC-TBRを提案する。 BBSIデータセットを用いて実験を行い,提案手法の有効性について検討した。
  論文  参考訳（メタデータ） (2023-09-19T17:04:36Z)
• Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
  本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。 我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。 本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
  論文  参考訳（メタデータ） (2022-04-18T17:58:04Z)
• Laughing Heads: Can Transformers Detect What Makes a Sentence Funny? [18.67834526946997]
  我々は、最小組の文からなるデータセット上で、トランスフォーマーに基づくユーモア認識モデルを訓練し、分析する。 一致したデータセットは以前のデータセットよりもはるかに難しいが、トランスフォーマーベースのモデルは、高精度(78%)の一致したペアでユーモラスな文を認識する。 最も顕著なことは、訓練時にこの情報にアクセスしなくても、一つの注意頭がテスト文をユーモラスにする単語を認識することを学ぶという明確な証拠を見つけることである。
  論文  参考訳（メタデータ） (2021-05-19T14:02:25Z)
• ColBERT: Using BERT Sentence Embedding in Parallel Neural Networks for Computational Humor [0.0]
  本稿では,ユーモアの一般的な言語理論に基づいて,短いテキストでユーモアを検出・評価するための新しいアプローチを提案する。 提案手法は,与えられたテキストの文を分離し,BERTモデルを用いて各テキストの埋め込みを生成する。 我々はこの論文に、20万の形式的な短文からなるユーモア検出のための新しいデータセットを添付した。 提案モデルでは, 一般モデル, 最先端モデルより優れるユーモア検出実験において, 0.982, 0.869のF1スコアを得た。
  論文  参考訳（メタデータ） (2020-04-27T13:10:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。