論文の概要: Hybrid Multimodal Fusion for Humor Detection
- arxiv url: http://arxiv.org/abs/2209.11949v1
- Date: Sat, 24 Sep 2022 07:45:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 14:01:36.798557
- Title: Hybrid Multimodal Fusion for Humor Detection
- Title(参考訳): ユーモア検出のためのハイブリッドマルチモーダル融合
- Authors: Haojie Xu, Weifeng Liu, Jingwei Liu, Mingzheng Li, Yu Feng, Yasi Peng,
Yunwei Shi, Xiao Sun and Meng Wang
- Abstract要約: 我々は,2022年のMultimodal Emotional Challenge (MuSe) の MuSe-Humor sub-challenge に対するソリューションを提案する。
MuSe-Humor sub-challengeの目標は、ドイツのサッカー・ブンデスリーガ・プレス・カンファレンスの音声映像記録からユーモアを検出し、AUCを計算することである。
- 参考スコア(独自算出の注目度): 16.178078156094067
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present our solution to the MuSe-Humor sub-challenge of the
Multimodal Emotional Challenge (MuSe) 2022. The goal of the MuSe-Humor
sub-challenge is to detect humor and calculate AUC from audiovisual recordings
of German football Bundesliga press conferences. It is annotated for humor
displayed by the coaches. For this sub-challenge, we first build a discriminant
model using the transformer module and BiLSTM module, and then propose a hybrid
fusion strategy to use the prediction results of each modality to improve the
performance of the model. Our experiments demonstrate the effectiveness of our
proposed model and hybrid fusion strategy on multimodal fusion, and the AUC of
our proposed model on the test set is 0.8972.
- Abstract(参考訳): 本稿では,Multimodal Emotional Challenge (MuSe) 2022の MuSe-Humor sub-challenge について述べる。
MuSe-Humorサブチャレンジの目標は、ドイツのサッカー・ブンデスリーガ・プレス・カンファレンスの音声映像記録からユーモアを検出し、AUCを計算することである。
コーチによるユーモアの注釈が付けられている。
このサブキャレンジに対して,まずトランスフォーマーモジュールとbilstmモジュールを用いた識別モデルを構築し,次に各モードの予測結果を用いてモデルの性能を向上させるハイブリッド融合戦略を提案する。
実験では,本モデルとハイブリッド核融合戦略がマルチモーダル核融合に及ぼす影響を実証し,テストセット上でのモデルAUCは0.8972である。
関連論文リスト
- CREMA: Multimodal Compositional Video Reasoning via Efficient Modular
Adaptation and Fusion [65.3593129253195]
CREMAはビデオ推論に新しいモダリティを注入するための効率的なフレームワークである。
本稿では,ビデオ3D,ビデオオーディオ,ビデオ言語推論タスクについて検証する。
論文 参考訳(メタデータ) (2024-02-08T18:27:22Z) - CANAMRF: An Attention-Based Model for Multimodal Depression Detection [7.266707571724883]
適応型マルチモーダルリカレントフュージョン(CANAMRF)を用いたマルチモーダル抑うつ検出のためのクロスモーダルアテンションネットワークを提案する。
CANAMRFは、マルチモーダル特徴抽出器、アダプティブマルチモーダルリカレントフュージョンモジュール、ハイブリッドアテンションモジュールによって構成されている。
論文 参考訳(メタデータ) (2024-01-04T12:08:16Z) - Provable Dynamic Fusion for Low-Quality Multimodal Data [94.39538027450948]
動的マルチモーダル融合は、有望な学習パラダイムとして現れる。
広く使われているにもかかわらず、この分野の理論的正当化は依然として顕著に欠落している。
本稿では、一般化の観点から最もポピュラーなマルチモーダル融合フレームワークの下で、この問題に答える理論的理解を提供する。
QMF(Quality-Aware Multimodal Fusion)と呼ばれる新しいマルチモーダル融合フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-03T08:32:35Z) - Equivariant Multi-Modality Image Fusion [142.84362457655516]
エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。
我々のアプローチは、自然像が特定の変換に等しくなるという以前の知識に基づいている。
実験により,赤外可視画像と医用画像の両方に対して高品質な融合結果が得られた。
論文 参考訳(メタデータ) (2023-05-19T05:50:24Z) - DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。
近赤外可視画像融合と医用画像融合で有望な融合が得られた。
論文 参考訳(メタデータ) (2023-03-13T04:06:42Z) - Hybrid Multimodal Feature Extraction, Mining and Fusion for Sentiment
Analysis [31.097398034974436]
我々は,MuSe-Humor, MuSe-Reaction, MuSe-Stress Sub-challengesを含む2022年度のMultimodal Sentiment Analysis Challengeのソリューションを提案する。
MuSe 2022はユーモアの検出、感情反応、さまざまなモダリティとデータセットを活用するマルチモーダルな感情ストレスに焦点を当てている。
論文 参考訳(メタデータ) (2022-08-05T09:07:58Z) - Multi-level Fusion of Wav2vec 2.0 and BERT for Multimodal Emotion
Recognition [15.133202035812017]
本稿では,wav2vec 2.0やBERTといった最先端の事前学習モデルを利用したトランスファー学習を提案する。
また, フレームレベルの音声埋め込みだけでなく, 音声, 音節, 単語レベルの音声埋め込みなどのセグメントレベルの埋め込みも抽出し, さらなる性能向上を図る。
論文 参考訳(メタデータ) (2022-07-11T08:20:53Z) - Hateful Memes Challenge: An Enhanced Multimodal Framework [0.0]
Facebook AIが提案したHateful Meme Challengeは、世界中の参加者を惹きつけている。
この問題に対して様々な最先端のディープラーニングモデルが適用されている。
本稿では,特徴抽出にTectronを活用することを含め,ヘイトフル検出の枠組みを強化する。
論文 参考訳(メタデータ) (2021-12-20T07:47:17Z) - Hybrid Mutimodal Fusion for Dimensional Emotion Recognition [20.512310175499664]
我々は,Multimodal Sentiment Challenge (MuSe) 2021 の MuSe-Stress sub-challenge と MuSe-Physio sub-challenge のソリューションを幅広く紹介する。
1)音声・視覚的特徴と生体信号的特徴は感情状態認識に使用される。
MuSe-Physio sub-challengeでは、まず複数のモーダルから音声・視覚的特徴と生体信号的特徴を抽出する。
論文 参考訳(メタデータ) (2021-10-16T06:57:18Z) - H2NF-Net for Brain Tumor Segmentation using Multimodal MR Imaging: 2nd
Place Solution to BraTS Challenge 2020 Segmentation Task [96.49879910148854]
当社のH2NF-Netは、単一およびカスケードのHNF-Netを使用して、異なる脳腫瘍サブリージョンを分割します。
我々は、マルチモーダル脳腫瘍チャレンジ(BraTS)2020データセットでモデルをトレーニングし、評価した。
提案手法は,80名近い参加者のうち,brats 2020チャレンジセグメンテーションタスクで2位となった。
論文 参考訳(メタデータ) (2020-12-30T20:44:55Z) - DUMA: Reading Comprehension with Transposition Thinking [107.89721765056281]
MRC (Multi-choice Machine Reading) は、解答オプションのセットから正しい解答を決定するためのモデルを必要とする。
新しい Dual Multi-head Co-Attention (DUMA) モデルは、多選択MRC問題を解決する人間の転置思考プロセスにインスパイアされている。
論文 参考訳(メタデータ) (2020-01-26T07:35:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。