論文の概要: When did you become so smart, oh wise one?! Sarcasm Explanation in Multi-modal Multi-party Dialogues

• arxiv url: http://arxiv.org/abs/2203.06419v1
• Date: Sat, 12 Mar 2022 12:16:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-15 14:12:18.232980
• Title: When did you become so smart, oh wise one?! Sarcasm Explanation in Multi-modal Multi-party Dialogues
• Title（参考訳）: いつ そんなに賢く 賢くなったの? マルチモーダル多人数対話におけるSarcasm説明
• Authors: Shivani Kumar, Atharva Kulkarni, Md Shad Akhtar, Tanmoy Chakraborty
• Abstract要約: sarcastic conversationの談話構造について検討し、新しい課題であるSarcasm Explanation in Dialogue (SED)を提案する。 SEDは、風刺会話の自然言語説明を生成することを目的としている。 我々は、マルチモーダルなコンテキスト認識とグローバル情報融合モジュールであるMAFを提案し、それをWITSのベンチマークに利用する。
• 参考スコア（独自算出の注目度）: 27.884015521888458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Indirect speech such as sarcasm achieves a constellation of discourse goals in human communication. While the indirectness of figurative language warrants speakers to achieve certain pragmatic goals, it is challenging for AI agents to comprehend such idiosyncrasies of human communication. Though sarcasm identification has been a well-explored topic in dialogue analysis, for conversational systems to truly grasp a conversation's innate meaning and generate appropriate responses, simply detecting sarcasm is not enough; it is vital to explain its underlying sarcastic connotation to capture its true essence. In this work, we study the discourse structure of sarcastic conversations and propose a novel task - Sarcasm Explanation in Dialogue (SED). Set in a multimodal and code-mixed setting, the task aims to generate natural language explanations of satirical conversations. To this end, we curate WITS, a new dataset to support our task. We propose MAF (Modality Aware Fusion), a multimodal context-aware attention and global information fusion module to capture multimodality and use it to benchmark WITS. The proposed attention module surpasses the traditional multimodal fusion baselines and reports the best performance on almost all metrics. Lastly, we carry out detailed analyses both quantitatively and qualitatively.
• Abstract（参考訳）: サルカズムのような間接的な発話は、人間のコミュニケーションにおける言論目標の集合を成す。 比喩的言語の間接性は、話者に特定の実用目標を達成するよう保証するが、AIエージェントがこのような人間のコミュニケーションの慣用性を理解することは困難である。 sarcasmの同定は対話分析においてよく研究されているトピックであるが、会話システムが会話の本来の意味を真に把握し、適切な応答を生成するためには、単にsarcasmを検出するだけでは十分ではない。 本研究では,皮肉会話の談話構造について検討し,対話におけるサルカズム説明(sed)という新しいタスクを提案する。 マルチモーダルでコードミキシングされた設定で設定されたタスクは、風刺会話の自然言語説明を生成することを目的としている。 この目的のために、タスクをサポートする新しいデータセットであるWITSをキュレートします。 我々は、マルチモーダルなコンテキスト認識とグローバル情報融合モジュールであるMAF(Modality Aware Fusion)を提案し、それをWITSのベンチマークに利用する。 提案するアテンションモジュールは,従来のマルチモーダル融合ベースラインを上回り,ほぼすべてのメトリクスで最高のパフォーマンスを報告している。 最後に,定量的かつ定性的に詳細な分析を行う。

関連論文リスト

• PanoSent: A Panoptic Sextuple Extraction Benchmark for Multimodal Conversational Aspect-based Sentiment Analysis [74.41260927676747]
  本稿では,マルチモーダル対話感分析(ABSA)を導入することでギャップを埋める。 タスクをベンチマークするために、手動と自動の両方で注釈付けされたデータセットであるPanoSentを構築し、高品質、大規模、マルチモーダル、マルチ言語主義、マルチシナリオを特徴とし、暗黙の感情要素と明示的な感情要素の両方をカバーする。 課題を効果的に解決するために,新しい多モーダルな大規模言語モデル(すなわちSentica)とパラフレーズベースの検証機構とともに,新しい感覚の連鎖推論フレームワークを考案した。
  論文  参考訳（メタデータ） (2024-08-18T13:51:01Z)
• VyAnG-Net: A Novel Multi-Modal Sarcasm Recognition Model by Uncovering Visual, Acoustic and Glossary Features [13.922091192207718]
  サルカズム認識は、日常の対話に埋め込まれた隠された皮肉、批判、比喩的な情報を識別することを目的としている。 本稿では,軽量な奥行き注意モジュールと自己制御型ConvNetを組み合わせることで,視覚データの最も重要な特徴に集中する手法を提案する。 我々はまた、別のデータセットMUStARD++の見知らぬサンプルを用いて、VyAnG-Netの適応性をテストするために、クロスデータセット解析を行った。
  論文  参考訳（メタデータ） (2024-08-05T15:36:52Z)
• Reasoning in Conversation: Solving Subjective Tasks through Dialogue Simulation for Large Language Models [56.93074140619464]
  本稿では,対話シミュレーションによる主観的課題の解決に焦点を当てたRiC(Reasoning in Conversation)を提案する。 RiCのモチベーションは、チェーン・オブ・ソート・スタイルの合理性を提供するのではなく、対話をシミュレートすることで有用な文脈情報をマイニングすることである。 GPT-4、ChatGPT、OpenChatなど、APIベースのLLMとオープンソースのLLMの両方を12のタスクで評価する。
  論文  参考訳（メタデータ） (2024-02-27T05:37:10Z)
• Sentiment-enhanced Graph-based Sarcasm Explanation in Dialogue [67.09698638709065]
  本稿では,SEntiment-enhanceD Graph を用いたマルチモーダルサルカズム記述フレームワーク EDGE を提案する。 特に,まずレキシコン誘導型発話感情推論モジュールを提案し,そこでは発話感情改善戦略を考案する。 次に,マルチモーダル感情分析モデル JCA を拡張し,映像音声クリップ毎に共同感情ラベルを導出することにより,JCA-SI (Joint Cross Attention-based Sentiment Inference) というモジュールを開発する。
  論文  参考訳（メタデータ） (2024-02-06T03:14:46Z)
• Multi-source Semantic Graph-based Multimodal Sarcasm Explanation Generation [53.97962603641629]
  本稿では,mulTi-source sEmantic grAph-based Multimodal sarcasm explanation scheme, TEAMを提案する。 TEAMは、入力画像から従来のグローバルな視覚的特徴の代わりに、オブジェクトレベルのセマンティックメタデータを抽出する。 TEAMはマルチソース意味関係を包括的に特徴付けるマルチソース意味グラフを導入している。
  論文  参考訳（メタデータ） (2023-06-29T03:26:10Z)
• DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
  プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。 そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
  論文  参考訳（メタデータ） (2023-06-15T10:41:23Z)
• Explaining (Sarcastic) Utterances to Enhance Affect Understanding in Multimodal Dialogues [40.80696210030204]
  本稿では,マルチモーダル(皮肉)対話インスタンスを入力とし,その説明として自然言語文を生成する深層ニューラルネットワーク MOSES を提案する。 本研究では, サルカズム検出, ユーモア識別, 感情認識など, 対話型対話システムにおいて, 様々な自然言語理解タスクに対して生成した説明を活用する。 評価結果から,MOSESはSEDの最先端システムよりも平均2%高い性能を示した。
  論文  参考訳（メタデータ） (2022-11-20T18:05:43Z)
• End-to-end Spoken Conversational Question Answering: Task, Dataset and Model [92.18621726802726]
  音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。 本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。 本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
  論文  参考訳（メタデータ） (2022-04-29T17:56:59Z)
• Multi-Modal Sarcasm Detection Based on Contrastive Attention Mechanism [7.194040730138362]
  本研究では、モーダリティ間コントラストアテンションに基づくSarcasm Detection(ConAttSD)モデルを構築し、モーダリティ間コントラストアテンション機構を用いて発話のコントラスト特徴を抽出する。 ベンチマークマルチモーダルサルカズムデータセットであるMUStARDに関する実験により,提案したConAttSDモデルの有効性を実証した。
  論文  参考訳（メタデータ） (2021-09-30T14:17:51Z)
• Multi-modal Sarcasm Detection and Humor Classification in Code-mixed Conversations [14.852199996061287]
  我々は,会話対話におけるマルチモーダルサルカズム検出とユーモア分類のための,ヒンディー語と英語の混成データセットMaSaCを開発した。 発話分類のための新しい注目度の高いニューラルアーキテクチャであるMSH-COMICSを提案する。
  論文  参考訳（メタデータ） (2021-05-20T18:33:55Z)
• Interpretable Multi-Head Self-Attention model for Sarcasm Detection in social media [0.0]
  sarcastic expressionの曖昧さは、sarcasmの発見を非常に困難にしている。 マルチヘッドセルフアテンションとゲートリカレントユニットを用いた解釈可能なディープラーニングモデルを開発する。 本稿では,複数のデータセットで最新の結果を得る手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-01-14T21:39:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。