論文の概要: StickerConv: Generating Multimodal Empathetic Responses from Scratch
- arxiv url: http://arxiv.org/abs/2402.01679v1
- Date: Sat, 20 Jan 2024 13:44:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-11 16:51:03.802280
- Title: StickerConv: Generating Multimodal Empathetic Responses from Scratch
- Title(参考訳): StickerConv:スクラッチからマルチモーダル共感応答を生成する
- Authors: Yiqun Zhang, Fanheng Kong, Peidong Wang, Shuang Sun, Lingshuai Wang,
Shi Feng, Daling Wang, Yifei Zhang, Kaisong Song
- Abstract要約: 我々は、協調的なエージェントインタラクションを用いて、スタンプの使用により人間の行動を現実的にシミュレートするAgent4SC(Agent4SC)について紹介する。
我々は、12.9Kの対話セッション、5.8Kのユニークなステッカー、2Kの多様な会話シナリオを含むマルチモーダルな共感対話データセットであるStickerConvを開発した。
本実験は、PEGSが文脈的に関連し、感情的に共鳴するマルチモーダル共感反応を発生させる効果を実証するものである。
- 参考スコア(独自算出の注目度): 23.733723334721695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stickers, while widely recognized for enhancing empathetic communication in
online interactions, remain underexplored in current empathetic dialogue
research. In this paper, we introduce the Agent for StickerConv (Agent4SC),
which uses collaborative agent interactions to realistically simulate human
behavior with sticker usage, thereby enhancing multimodal empathetic
communication. Building on this foundation, we develop a multimodal empathetic
dialogue dataset, StickerConv, which includes 12.9K dialogue sessions, 5.8K
unique stickers, and 2K diverse conversational scenarios, specifically designs
to augment the generation of empathetic responses in a multimodal context. To
leverage the richness of this dataset, we propose PErceive and Generate
Stickers (PEGS), a multimodal empathetic response generation model,
complemented by a comprehensive set of empathy evaluation metrics based on LLM.
Our experiments demonstrate PEGS's effectiveness in generating contextually
relevant and emotionally resonant multimodal empathetic responses, contributing
to the advancement of more nuanced and engaging empathetic dialogue systems.
Our project page is available at https://neu-datamining.github.io/StickerConv .
- Abstract(参考訳): ステッカーは、オンラインインタラクションにおける共感的コミュニケーションの強化として広く認識されているが、現在の共感的対話研究では未熟である。
本稿では,人間行動とステッカー使用を現実的にシミュレートし,マルチモーダルな共感コミュニケーションを促進するためのエージェントである stickerconv (agent4sc) について紹介する。
この基盤を基盤として,12.9Kの対話セッション,5.8Kのユニークなステッカー,および2Kの多様な会話シナリオを含む,マルチモーダルな共感的対話データセットであるStickerConvを開発した。
このデータセットの豊かさを活用するために,llmに基づく包括的共感評価指標によって補完されるマルチモーダル共感応答生成モデルであるステッカー(peg)の知覚と生成を提案する。
本研究は,pegsが文脈的に関連し,感情的に共振するマルチモーダル共感反応を発生させる効果を示し,よりニュアンス的で魅力的な共感対話システムの発展に寄与することを示す。
私たちのプロジェクトページはhttps://neu-datamining.github.io/stickerconvで閲覧できます。
関連論文リスト
- Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。
本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。
大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
論文 参考訳(メタデータ) (2024-09-13T18:28:12Z) - Empathy Through Multimodality in Conversational Interfaces [1.360649555639909]
会話型健康エージェント(CHA)は、感情的なインテリジェンスを組み込むためにテキスト分析を超越するニュアンスなサポートを提供することで、医療を再定義している。
本稿では、豊かなマルチモーダル対話のためのLCMベースのCHAについて紹介する。
マルチモーダルな手がかりを解析することにより、ユーザの感情状態に順応的に解釈し、応答し、文脈的に認識され、共感的に反響する音声応答を提供する。
論文 参考訳(メタデータ) (2024-05-08T02:48:29Z) - AMuSE: Adaptive Multimodal Analysis for Speaker Emotion Recognition in
Group Conversations [39.79734528362605]
マルチモーダルアテンションネットワークは、空間抽象の様々なレベルにおける相互モーダル相互作用をキャプチャする。
AMuSEモデルは、空間的特徴と時間的特徴の両方を、話者レベルと発話レベルという2つの濃密な記述子に凝縮する。
論文 参考訳(メタデータ) (2024-01-26T19:17:05Z) - AntEval: Evaluation of Social Interaction Competencies in LLM-Driven
Agents [65.16893197330589]
大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。
しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。
本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
論文 参考訳(メタデータ) (2024-01-12T11:18:00Z) - Harnessing Large Language Models' Empathetic Response Generation
Capabilities for Online Mental Health Counselling Support [1.9336815376402723]
大規模言語モデル(LLM)は、様々な情報検索や推論タスクで顕著なパフォーマンスを示している。
本研究は,メンタルヘルスカウンセリング環境下での会話において,共感反応を誘発するLLMの能力について検討した。
我々は、ジェネレーティブ・プレトレーニング(GPT)のバージョン3.5とバージョン4、Vicuna FastChat-T5、Pathways Language Model(PaLM)バージョン2、Falcon-7B-Instructの5つのLCMを選択した。
論文 参考訳(メタデータ) (2023-10-12T03:33:06Z) - Multimodal Prompt Transformer with Hybrid Contrastive Learning for
Emotion Recognition in Conversation [9.817888267356716]
会話におけるマルチモーダル感情認識(ERC)は2つの問題に直面している。
表現能力の強いモダリティに対して深部感情の手がかり抽出を行った。
特徴フィルタは、表現能力の弱いモダリティのためのマルチモーダルプロンプト情報として設計された。
MPTは、Transformerの各アテンション層にマルチモーダル融合情報を埋め込む。
論文 参考訳(メタデータ) (2023-10-04T13:54:46Z) - PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded
Dialogue Systems [59.1250765143521]
現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。
我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。
対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
論文 参考訳(メタデータ) (2023-09-19T08:27:09Z) - Selecting Stickers in Open-Domain Dialogue through Multitask Learning [51.67855506570727]
本稿では,3つの補助課題からなるマルチタスク学習手法を提案する。
我々のモデルは多モード情報をうまく組み合わせて、強いベースラインよりもはるかに高い精度が得られる。
論文 参考訳(メタデータ) (2022-09-16T03:45:22Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳(メタデータ) (2022-02-16T00:23:42Z) - Learning to Respond with Stickers: A Framework of Unifying
Multi-Modality in Multi-Turn Dialog [65.7021675527543]
鮮明で魅力的な表現を持つスタンプは、オンラインメッセージングアプリでますます人気が高まっている。
スタンプのテキストラベルと以前の発話をマッチングすることで、スタンプ応答を自動的に選択する作業もある。
我々は,外部ラベルを使わずに,マルチターン・ダイアログのコンテキスト履歴に基づいた適切なステッカーをユーザに提案する。
論文 参考訳(メタデータ) (2020-03-10T13:10:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。