論文の概要: Empathy Through Multimodality in Conversational Interfaces

• arxiv url: http://arxiv.org/abs/2405.04777v1
• Date: Wed, 8 May 2024 02:48:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 15:24:34.062298
• Title: Empathy Through Multimodality in Conversational Interfaces
• Title（参考訳）: 会話インタフェースにおけるマルチモーダルによる共感
• Authors: Mahyar Abbasian, Iman Azimi, Mohammad Feli, Amir M. Rahmani, Ramesh Jain,
• Abstract要約: 会話型健康エージェント(CHA)は、感情的なインテリジェンスを組み込むためにテキスト分析を超越するニュアンスなサポートを提供することで、医療を再定義している。 本稿では、豊かなマルチモーダル対話のためのLCMベースのCHAについて紹介する。 マルチモーダルな手がかりを解析することにより、ユーザの感情状態に順応的に解釈し、応答し、文脈的に認識され、共感的に反響する音声応答を提供する。
• 参考スコア（独自算出の注目度）: 1.360649555639909
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agents represent one of the most emerging applications of Large Language Models (LLMs) and Generative AI, with their effectiveness hinging on multimodal capabilities to navigate complex user environments. Conversational Health Agents (CHAs), a prime example of this, are redefining healthcare by offering nuanced support that transcends textual analysis to incorporate emotional intelligence. This paper introduces an LLM-based CHA engineered for rich, multimodal dialogue-especially in the realm of mental health support. It adeptly interprets and responds to users' emotional states by analyzing multimodal cues, thus delivering contextually aware and empathetically resonant verbal responses. Our implementation leverages the versatile openCHA framework, and our comprehensive evaluation involves neutral prompts expressed in diverse emotional tones: sadness, anger, and joy. We evaluate the consistency and repeatability of the planning capability of the proposed CHA. Furthermore, human evaluators critique the CHA's empathic delivery, with findings revealing a striking concordance between the CHA's outputs and evaluators' assessments. These results affirm the indispensable role of vocal (soon multimodal) emotion recognition in strengthening the empathetic connection built by CHAs, cementing their place at the forefront of interactive, compassionate digital health solutions.
• Abstract（参考訳）: エージェントは、複雑なユーザ環境をナビゲートするマルチモーダル機能に基づく、Large Language Models(LLM)とGenerative AIの最も新興のアプリケーションのひとつである。 この主要な例である会話型健康エージェント(CHA)は、感情的な知性を組み込むためにテキスト分析を超越したニュアンスなサポートを提供することで、医療を再定義している。 本稿では、豊かなマルチモーダル対話のためのLCMベースのCHAについて紹介する。 マルチモーダルな手がかりを解析することにより、ユーザの感情状態に順応的に解釈し、応答し、文脈的に認識され、共感的に反響する音声応答を提供する。 我々の実装は万能なopenCHAフレームワークを活用しており、包括的な評価には、悲しみ、怒り、喜びといった様々な感情のトーンで表される中立的なプロンプトが関係している。 提案したCHAの計画能力の一貫性と再現性を評価する。 さらに、人間の評価者はCHAの共感的成果を批判し、CHAのアウトプットと評価者の評価との間に顕著な一致を示した。 これらの結果は、CHAが構築した共感的つながりを強化し、対話的で思いやりのあるデジタルヘルスソリューションの最前線に位置づける上で、声(soon multimodal)感情認識が不可欠であることを裏付けるものである。

関連論文リスト

• CAPE: A Chinese Dataset for Appraisal-based Emotional Generation using Large Language Models [30.40159858361768]
  認知評価理論に基づく感情コーパスという中国のデータセットであるCAPEを作成するための2段階の自動データ生成フレームワークを提案する。 このコーパスは、多様な個人的・状況的要因を考慮し、文脈的に適切な感情的反応を伴う対話を生成する。 我々の研究は、会話エージェントにおける感情表現を前進させる可能性を示し、よりニュアンスで有意義な人間とコンピュータの相互作用の道を開いた。
  論文  参考訳（メタデータ） (2024-10-18T03:33:18Z)
• Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
  我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。 本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。 大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
  論文  参考訳（メタデータ） (2024-09-13T18:28:12Z)
• Cause-Aware Empathetic Response Generation via Chain-of-Thought Fine-Tuning [12.766893968788263]
  共感反応生成は、対話の文脈を理解し、表現された感情に反応する能力を持つエージェントを与える。 先行研究は、主に話者の感情的ラベルを活用することに重点を置いているが、感情の重要性が原因の推論を無視している。 そこで我々は,感情と原因をうまく設計したChain-of-Thoughtプロンプトを通じて統合した原因認識型共感生成手法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T13:11:03Z)
• PanoSent: A Panoptic Sextuple Extraction Benchmark for Multimodal Conversational Aspect-based Sentiment Analysis [74.41260927676747]
  本稿では,マルチモーダル対話感分析(ABSA)を導入することでギャップを埋める。 タスクをベンチマークするために、手動と自動の両方で注釈付けされたデータセットであるPanoSentを構築し、高品質、大規模、マルチモーダル、マルチ言語主義、マルチシナリオを特徴とし、暗黙の感情要素と明示的な感情要素の両方をカバーする。 課題を効果的に解決するために,新しい多モーダルな大規模言語モデル(すなわちSentica)とパラフレーズベースの検証機構とともに,新しい感覚の連鎖推論フレームワークを考案した。
  論文  参考訳（メタデータ） (2024-08-18T13:51:01Z)
• AntEval: Evaluation of Social Interaction Competencies in LLM-Driven Agents [65.16893197330589]
  大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。 しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。 本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
  論文  参考訳（メタデータ） (2024-01-12T11:18:00Z)
• From Multilingual Complexity to Emotional Clarity: Leveraging Commonsense to Unveil Emotions in Code-Mixed Dialogues [38.87497808740538]
  会話中の感情を理解することは人間のコミュニケーションの基本的な側面であり、会話における感情認識のためのNLP研究を推進している。 本稿では,感情のより深い理解を促進するために,コモンセンス情報を対話コンテキストと統合する革新的なアプローチを提案する。 総合的な実験により,ERCにおけるコモンセンスの体系的導入によって得られた実質的な性能向上が示された。
  論文  参考訳（メタデータ） (2023-10-19T18:17:00Z)
• Building Emotional Support Chatbots in the Era of LLMs [64.06811786616471]
  我々は,Large Language Models (LLMs) の計算能力で人間の洞察を合成する革新的な方法論を導入する。 また,ChatGPTの文脈内学習の可能性を利用して,ExTESと呼ばれる感情支援対話データセットを生成する。 次に、LLaMAモデルに高度なチューニング手法を展開し、多様なトレーニング戦略の影響を検証し、最終的に感情的支援の相互作用に細心の注意を払ってLLMを出力する。
  論文  参考訳（メタデータ） (2023-08-17T10:49:18Z)
• Response-act Guided Reinforced Dialogue Generation for Mental Health Counseling [25.524804770124145]
  本稿では、メンタルヘルスカウンセリング会話のための対話行動誘導応答生成器READERについて述べる。 READERは変換器上に構築されており、次の発話に対する潜在的な対話行為d(t+1)を共同で予測し、適切な応答u(t+1)を生成する。 ベンチマークカウンセリング会話データセットであるHOPE上でREADERを評価する。
  論文  参考訳（メタデータ） (2023-01-30T08:53:35Z)
• Enabling Harmonious Human-Machine Interaction with Visual-Context Augmented Dialogue System: A Review [40.49926141538684]
  Visual Context Augmented Dialogue System (VAD) は、マルチモーダル情報を知覚し理解することで人間とコミュニケーションする能力を持つ。 VADは、エンゲージメントとコンテキスト対応の応答を生成する可能性を秘めている。
  論文  参考訳（メタデータ） (2022-07-02T09:31:37Z)
• Target Guided Emotion Aware Chat Machine [58.8346820846765]
  意味レベルと感情レベルにおける投稿に対する応答の整合性は、人間のような対話を提供する対話システムにとって不可欠である。 この記事では、投稿中のセマンティクスと感情を同時にエンコードできる、未定義のエンドツーエンドニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2020-11-15T01:55:37Z)
• You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
  認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。 そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
  論文  参考訳（メタデータ） (2020-04-11T12:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。