論文の概要: STICKERCONV: Generating Multimodal Empathetic Responses from Scratch

• arxiv url: http://arxiv.org/abs/2402.01679v2
• Date: Fri, 16 Feb 2024 11:27:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 19:08:39.755799
• Title: STICKERCONV: Generating Multimodal Empathetic Responses from Scratch
• Title（参考訳）: STICKERCONV:スクラッチからのマルチモーダル共感応答の生成
• Authors: Yiqun Zhang, Fanheng Kong, Peidong Wang, Shuang Sun, Lingshuai Wang, Shi Feng, Daling Wang, Yifei Zhang, Kaisong Song
• Abstract要約: STICKERCONV (Agent4SC) は, 協調的なエージェントインタラクションを用いて, ステッカー使用による人間の行動の現実的なシミュレートを行う。 我々は12.9Kの対話セッション、5.8Kのユニークなステッカー、2Kの多様な会話シナリオからなるマルチモーダル共感対話データセットSTICKERCONVを開発した。 さらに,マルチモーダルな共感応答生成フレームワークPEGSを提案する。
• 参考スコア（独自算出の注目度）: 23.733723334721695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stickers, while widely recognized for enhancing empathetic communication in online interactions, remain underexplored in current empathetic dialogue research, notably due to the challenge of a lack of comprehensive datasets. In this paper, we introduce the Agent for STICKERCONV (Agent4SC), which uses collaborative agent interactions to realistically simulate human behavior with sticker usage, thereby enhancing multimodal empathetic communication. Building on this foundation, we develop a multimodal empathetic dialogue dataset, STICKERCONV, comprising 12.9K dialogue sessions, 5.8K unique stickers, and 2K diverse conversational scenarios. This dataset serves as a benchmark for multimodal empathetic generation. To advance further, we propose PErceive and Generate Stickers (PEGS), a multimodal empathetic response generation framework, complemented by a comprehensive set of empathy evaluation metrics based on LLM. Our experiments demonstrate PEGS's effectiveness in generating contextually relevant and emotionally resonant multimodal empathetic responses, contributing to the advancement of more nuanced and engaging empathetic dialogue systems.
• Abstract（参考訳）: ステッカーは、オンラインインタラクションにおける共感的コミュニケーションを強化することで広く認知されているが、特に包括的なデータセットの欠如が原因で、現在の共感的対話研究では未発見のままである。 本稿では,人間行動とステッカー使用を現実的にシミュレートし,マルチモーダルな共感コミュニケーションを促進するためのエージェントである stickerconv (agent4sc) について紹介する。 この基盤を基盤として,12.9K対話セッション,5.8Kユニークなステッカー,2K多様な対話シナリオからなるマルチモーダル共感対話データセットSTICKERCONVを開発した。 このデータセットはマルチモーダル共感生成のベンチマークとして機能する。 さらに,llmに基づく包括的共感評価指標を補完するマルチモーダル共感応答生成フレームワークである「パーセプティブ・アンド・ジェネレーション・ステッカー(peg)」を提案する。 本研究は,pegsが文脈的に関連し,感情的に共振するマルチモーダル共感反応を発生させる効果を示し,よりニュアンス的で魅力的な共感対話システムの発展に寄与することを示す。

関連論文リスト

• Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
  我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。 本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。 大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
  論文  参考訳（メタデータ） (2024-09-13T18:28:12Z)
• Empathy Through Multimodality in Conversational Interfaces [1.360649555639909]
  会話型健康エージェント(CHA)は、感情的なインテリジェンスを組み込むためにテキスト分析を超越するニュアンスなサポートを提供することで、医療を再定義している。 本稿では、豊かなマルチモーダル対話のためのLCMベースのCHAについて紹介する。 マルチモーダルな手がかりを解析することにより、ユーザの感情状態に順応的に解釈し、応答し、文脈的に認識され、共感的に反響する音声応答を提供する。
  論文  参考訳（メタデータ） (2024-05-08T02:48:29Z)
• AMuSE: Adaptive Multimodal Analysis for Speaker Emotion Recognition in Group Conversations [39.79734528362605]
  マルチモーダルアテンションネットワークは、空間抽象の様々なレベルにおける相互モーダル相互作用をキャプチャする。 AMuSEモデルは、空間的特徴と時間的特徴の両方を、話者レベルと発話レベルという2つの濃密な記述子に凝縮する。
  論文  参考訳（メタデータ） (2024-01-26T19:17:05Z)
• AntEval: Evaluation of Social Interaction Competencies in LLM-Driven Agents [65.16893197330589]
  大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。 しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。 本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
  論文  参考訳（メタデータ） (2024-01-12T11:18:00Z)
• Harnessing Large Language Models' Empathetic Response Generation Capabilities for Online Mental Health Counselling Support [1.9336815376402723]
  大規模言語モデル(LLM)は、様々な情報検索や推論タスクで顕著なパフォーマンスを示している。 本研究は,メンタルヘルスカウンセリング環境下での会話において,共感反応を誘発するLLMの能力について検討した。 我々は、ジェネレーティブ・プレトレーニング(GPT)のバージョン3.5とバージョン4、Vicuna FastChat-T5、Pathways Language Model(PaLM)バージョン2、Falcon-7B-Instructの5つのLCMを選択した。
  論文  参考訳（メタデータ） (2023-10-12T03:33:06Z)
• Multimodal Prompt Transformer with Hybrid Contrastive Learning for Emotion Recognition in Conversation [9.817888267356716]
  会話におけるマルチモーダル感情認識(ERC)は2つの問題に直面している。 表現能力の強いモダリティに対して深部感情の手がかり抽出を行った。 特徴フィルタは、表現能力の弱いモダリティのためのマルチモーダルプロンプト情報として設計された。 MPTは、Transformerの各アテンション層にマルチモーダル融合情報を埋め込む。
  論文  参考訳（メタデータ） (2023-10-04T13:54:46Z)
• PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded Dialogue Systems [59.1250765143521]
  現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。 我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。 対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
  論文  参考訳（メタデータ） (2023-09-19T08:27:09Z)
• Selecting Stickers in Open-Domain Dialogue through Multitask Learning [51.67855506570727]
  本稿では,3つの補助課題からなるマルチタスク学習手法を提案する。 我々のモデルは多モード情報をうまく組み合わせて、強いベースラインよりもはるかに高い精度が得られる。
  論文  参考訳（メタデータ） (2022-09-16T03:45:22Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• Learning to Respond with Stickers: A Framework of Unifying Multi-Modality in Multi-Turn Dialog [65.7021675527543]
  鮮明で魅力的な表現を持つスタンプは、オンラインメッセージングアプリでますます人気が高まっている。 スタンプのテキストラベルと以前の発話をマッチングすることで、スタンプ応答を自動的に選択する作業もある。 我々は,外部ラベルを使わずに,マルチターン・ダイアログのコンテキスト履歴に基づいた適切なステッカーをユーザに提案する。
  論文  参考訳（メタデータ） (2020-03-10T13:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。