論文の概要: Empathic Grounding: Explorations using Multimodal Interaction and Large Language Models with Conversational Agents
- arxiv url: http://arxiv.org/abs/2407.01824v1
- Date: Mon, 1 Jul 2024 21:46:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 17:23:15.277675
- Title: Empathic Grounding: Explorations using Multimodal Interaction and Large Language Models with Conversational Agents
- Title（参考訳）: 共感的接地:多モーダル相互作用と対話エージェントを用いた大規模言語モデルによる探索
- Authors: Mehdi Arjmand, Farnaz Nouraei, Ian Steenstra, Timothy Bickmore,
- Abstract要約: 話者の感情がフォアグラウンドされるとき、共感的な接地が必要である。
本稿では,ユーザ音声および表情を入力とし,聴取エージェントに対するマルチモーダルグラウンド動作を生成するモデルについて述べる。
本研究は,会話エージェントに対する適切な接地行動を生み出す上での,感情意識とマルチモーダリティの役割を強調した。
- 参考スコア（独自算出の注目度）: 0.6990493129893112
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the concept of "empathic grounding" in conversational agents as an extension of Clark's conceptualization of grounding in conversation in which the grounding criterion includes listener empathy for the speaker's affective state. Empathic grounding is generally required whenever the speaker's emotions are foregrounded and can make the grounding process more efficient and reliable by communicating both propositional and affective understanding. Both speaker expressions of affect and listener empathic grounding can be multimodal, including facial expressions and other nonverbal displays. Thus, models of empathic grounding for embodied agents should be multimodal to facilitate natural and efficient communication. We describe a multimodal model that takes as input user speech and facial expression to generate multimodal grounding moves for a listening agent using a large language model. We also describe a testbed to evaluate approaches to empathic grounding, in which a humanoid robot interviews a user about a past episode of pain and then has the user rate their perception of the robot's empathy. We compare our proposed model to one that only generates non-affective grounding cues in a between-subjects experiment. Findings demonstrate that empathic grounding increases user perceptions of empathy, understanding, emotional intelligence, and trust. Our work highlights the role of emotion awareness and multimodality in generating appropriate grounding moves for conversational agents.
- Abstract（参考訳）: 本稿では,会話エージェントにおける「共感的接地」の概念を,クラークの会話における接地概念化の延長として紹介する。
共感的接地は、話者の感情が前向きに置かれるたびに必要であり、命題的および感情的な理解の両方を伝達することによって、その接地プロセスをより効率的で信頼性の高いものにすることができる。
感情の話者表現と聞き手の共感的接地は、表情や他の非言語表示を含む多モーダルである。
したがって、エンボディエージェントの共感的接地モデルは、自然かつ効率的なコミュニケーションを促進するために多モーダルでなければならない。
本稿では,大規模な言語モデルを用いたリスニングエージェントに対して,入力されたユーザ音声と表情からマルチモーダルグラウンド動作を生成するマルチモーダルモデルについて述べる。
また,過去の痛みのエピソードをヒューマノイドロボットがユーザに対してインタビューし,ロボットの共感に対する認知度を評価させるという,共感的接地に対するアプローチを評価するためのテストベッドについても述べる。
提案モデルと, 対象物間実験において, 非有効接地キューのみを生成するモデルとの比較を行った。
共感的基盤は共感、理解、感情的知性、信頼の認知を増大させる。
本研究は,会話エージェントに対する適切な接地行動を生み出す上での,感情意識とマルチモーダリティの役割を強調した。
関連論文リスト
- Talk With Human-like Agents: Empathetic Dialogue Through Perceptible Acoustic Reception and Reaction [23.115506530649988]
PerceptiveAgentは、より深い意味またはより微妙な意味を識別するために設計された共感的マルチモーダル対話システムである。
PerceptiveAgentは入力音声から音響情報を知覚し、自然言語で記述された話し方に基づいて共感応答を生成する。
論文 参考訳（メタデータ） (2024-06-18T15:19:51Z) - Grounding Gaps in Language Model Generations [67.79817087930678]
大規模言語モデルが人間の接地を反映したテキストを生成するかどうかを考察する。
人間に比べ、LLMは会話の基盤を減らした言語を生成する。
同定された接地ギャップの根源を理解するために,命令チューニングと選好最適化の役割について検討する。
論文 参考訳（メタデータ） (2023-11-15T17:40:27Z) - deep learning of segment-level feature representation for speech emotion
recognition in conversations [9.432208348863336]
そこで本稿では,意図的文脈依存と話者感応的相互作用をキャプチャする対話型音声感情認識手法を提案する。
まず、事前訓練されたVGGishモデルを用いて、個々の発話におけるセグメントベース音声表現を抽出する。
第2に、注意的双方向リカレントユニット(GRU)は、文脈に敏感な情報をモデル化し、話者内および話者間依存関係を共同で探索する。
論文 参考訳（メタデータ） (2023-02-05T16:15:46Z) - Know your audience: specializing grounded language models with listener
subtraction [20.857795779760917]
我々はDixitからインスピレーションを得て、マルチエージェント画像参照ゲームを定式化する。
この対照的なマルチエージェント設定において,CLIPビジョンエンコーダと大規模言語モデル間の注意ベースのアダプタを微調整することで,文脈依存の自然言語特殊化がもたらされることを示す。
論文 参考訳（メタデータ） (2022-06-16T17:52:08Z) - CPED: A Large-Scale Chinese Personalized and Emotional Dialogue Dataset
for Conversational AI [48.67259855309959]
会話型AIのための既存のデータセットのほとんどは、人間の個性や感情を無視している。
CPEDは,中国における大規模パーソナライズされた感情対話データセットである。
CPEDには40のテレビ番組から392人の話者の12K以上の対話が含まれている。
論文 参考訳（メタデータ） (2022-05-29T17:45:12Z) - Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。
我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。
本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
論文 参考訳（メタデータ） (2022-04-18T17:58:04Z) - Responsive Listening Head Generation: A Benchmark Dataset and Baseline [58.168958284290156]
本研究では、応答型リスニングヘッド生成タスクを、複数の入力に応答する動きと表現を持つ非言語ヘッドの合成として定義する。
音声によるジェスチャーや音声のヘッド生成とは違って,いくつかの研究分野の恩恵を期待して,このタスクにより多くのモーダルを導入する。
論文 参考訳（メタデータ） (2021-12-27T07:18:50Z) - Constructing Emotion Consensus and Utilizing Unpaired Data for
Empathetic Dialogue Generation [22.2430593119389]
本稿では、感情のコンセンサスを同時に構築し、外部の未ペアデータを利用するための二重生成モデルDual-Empを提案する。
本手法は,コヒーレントかつ共感的応答の獲得において,競争ベースラインよりも優れる。
論文 参考訳（メタデータ） (2021-09-16T07:57:01Z) - Few-shot Language Coordination by Modeling Theory of Mind [95.54446989205117]
我々は、数ショット$textit language coordinate$のタスクについて研究する。
リードエージェントは、言語能力の異なるエージェントの$textitpopulation$と調整する必要があります。
これは、人間のコミュニケーションの重要な構成要素であるパートナーの信念をモデル化する能力を必要とする。
論文 参考訳（メタデータ） (2021-07-12T19:26:11Z) - Exemplars-guided Empathetic Response Generation Controlled by the
Elements of Human Communication [88.52901763928045]
そこで本稿では, インターロケータへの共感を伝達する, 造形モデルによる細かな構造的特性の解明に先立って, 模範的手法を提案する。
これらの手法は, 自動評価指標と人的評価指標の両方の観点から, 共感的応答品質の大幅な改善をもたらすことを実証的に示す。
論文 参考訳（メタデータ） (2021-06-22T14:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。