論文の概要: Closing the Affective Loop: Multimodal Speaker-Listener Emotion-Dynamics-Aware Empathetic Social Robots
- arxiv url: http://arxiv.org/abs/2608.16686v1
- Date: Mon, 17 Aug 2026 15:08:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.76207
- Title: Closing the Affective Loop: Multimodal Speaker-Listener Emotion-Dynamics-Aware Empathetic Social Robots
- Title（参考訳）: 感情ループを閉じる:マルチモーダル話者リスナー感情動態認識型共感型社会ロボット
- Abstract要約: AffectLoopは、Misty IIロボットに実装された話者-リスナーの感情力学を意識した音声対話システムである。
このシステムは、感情的に相反するエンパシー的行動とともに、短い音声のエンパシー的反応を生成する。
予備的な結果は、話者の感情動態とリスナーの感情状態の両方を明示的にモデル化することで、共感的相互作用を改善することを示唆している。
- 参考スコア（独自算出の注目度）: 19.640979258341904
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Empathetic social robots should respond not only to what users say, but also to how their emotions dynamically evolve during interaction. However, existing empathetic dialogue systems are often text-centered and primarily model empathy as a one-way mapping from the user's emotion to the system response, limiting their ability to capture embodied speaker--listener affective exchange. We present AffectLoop, a multimodal speaker-listener emotion-dynamics-aware spoken dialogue system implemented on the Misty II robot. The system tracks the speaker's verbal and facial affective dynamics, estimates the robot listener's own verbal and behavioral affective state, and conditions LLM-based response generation on both affective streams. The robot then generates a short spoken empathetic response together with emotionally congruent embodied behavior, forming a closed speaker--listener affective loop. We evaluate the system in a pilot within-subject study with five participants, comparing it with an otherwise identical utterance-conditioned baseline that omits the speaker- and listener-affective-state inputs. The proposed system received higher overall impression ratings, especially for empathetic response and user satisfaction. Post-hoc log analysis further showed higher speaker-listener affective alignment and stronger valence-based distress recovery. These preliminary results suggest that explicitly modeling both speaker emotional dynamics and listener affective state can improve embodied empathetic interaction.
- Abstract（参考訳）: 共感型社会ロボットは、ユーザーが何を言っているかだけでなく、対話中に感情がどのように動的に進化するかにも反応するべきである。
しかし、既存の共感対話システムは、しばしばテキスト中心であり、主にユーザーの感情からシステム応答への片道マッピングとして共感をモデル化し、埋め込み話者の感情交換を捕捉する能力を制限する。
AffectLoopは、Misty IIロボット上に実装されたマルチモーダル話者リスナー感情力学対応音声対話システムである。
システムは、話者の言語的および顔的感情のダイナミクスを追跡し、ロボットリスナー自身の言語的および行動的感情状態と、両方の感情ストリーム上でLLMベースの応答生成を推定する。
そして、ロボットは感情的に相反する感情的感情行動とともに短い音声の共感反応を生成し、閉じた話者-リスナーの感情ループを形成する。
本研究は, 話者と聴取者の入力を省略する他の発話条件ベースラインと比較し, 5人の被験者を対象に, パイロット・イン・オブジェクト・スタディにおけるシステムの評価を行った。
提案システムは、特に共感反応とユーザの満足度について、全体的な印象評価を高く評価した。
ポストホックログ解析では、話者リスナーの感情的アライメントが向上し、バレンスに基づくより強い救難回復が見られた。
これらの予備的な結果は、話者の感情動態とリスナーの感情状態の両方を明示的にモデル化することで、共感的相互作用を改善することを示唆している。
関連論文リスト
- Sympatheia: Emotionally Adaptive Voice Assistant with Continuous Affect Conditioning [17.756766677106388]
共感型音声対話システムは、ユーザの感情状態を適切に推測する必要がある。
本稿では,ユーザの音声から推測される影響を条件とした音声対話フレームワークであるSymphatheiaを紹介する。
論文 参考訳（メタデータ） (2026-05-30T18:53:35Z) - Evaluating multimodal emotion recognition in proactive conversational agents: A user study [0.0]
本稿では,多モーダル感情認識モジュールを,生成人工知能を利用した能動的社会対話エージェント(SIA)に統合する。
このシステムは、コンピュータビジョンベースの顔認識モジュールと意味論的言語分析エンジンという、2つの異なるチャンネルを通してリアルタイムな情緒状態を評価する。
論文 参考訳（メタデータ） (2026-04-06T15:11:43Z) - Reflecting Twice before Speaking with Empathy: Self-Reflective Alternating Inference for Empathy-Aware End-to-End Spoken Dialogue [53.95386201009769]
音声対話における共感的品質を評価するための記述型自然言語ベース評価モデルであるEmpathyEvalを紹介する。
本稿では,共感的自己反射的交替推論機構を通じて共感的対話を強化する,エンドツーエンドの音声言語モデルであるReEmpathyを提案する。
論文 参考訳（メタデータ） (2026-01-26T09:04:50Z) - A Unified Spoken Language Model with Injected Emotional-Attribution Thinking for Human-like Interaction [50.05919688888947]
本稿では,感情的インテリジェンスのための統一言語モデルを提案する。
IEATは、ユーザーの感情状態とその根本原因をモデルの内部推論プロセスに組み込んでおり、明示的な監督として扱われるのではなく、感情を意識した推論を内部化することができる。
HumDial(Human-like Spoken Dialogue Systems Challenge)Emotional Intelligenceベンチマークの実験は、提案手法が感情軌道モデリング、感情的推論、共感的応答生成にまたがるトップランクのパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2026-01-08T14:07:30Z) - EMO-Reasoning: Benchmarking Emotional Reasoning Capabilities in Spoken Dialogue Systems [25.920610612373608]
EMO-Reasoningは、対話システムにおける感情的コヒーレンスを評価するためのベンチマークである。
マルチターン対話における感情遷移を評価するために,クロスターン感情推論スコアを提案する。
論文 参考訳（メタデータ） (2025-08-25T03:01:40Z) - Personality-affected Emotion Generation in Dialog Systems [67.40609683389947]
ダイアログシステムに与えられた個性に基づいて感情を生成する新しいタスクであるパーソナリティ影響感情生成を提案する。
本課題の課題,すなわち,(1)個性と感情的要因を不均一に統合し,(2)対話場面における多粒性感情情報を抽出する。
その結果,感情生成性能はマクロF1では13%,重み付きF1では5%向上することが示唆された。
論文 参考訳（メタデータ） (2024-04-03T08:48:50Z) - Emotional Listener Portrait: Realistic Listener Motion Simulation in
Conversation [50.35367785674921]
リスナーヘッドジェネレーションは、話者から提供される情報を参照して、リスナーの非言語行動を生成することに集中する。
このような反応を生成する上で重要な課題は、会話中のきめ細かい表情の非決定論的性質である。
本稿では,複数の個別な動きコーパスの合成として,各顔の動きを微粒化処理する情緒的リスナー・ポートレート(ELP)を提案する。
ELPモデルは,学習分布からのサンプリングにより,与えられた話者に対する自然な,多様な応答を自動的に生成するだけでなく,所定の姿勢で制御可能な応答を生成することができる。
論文 参考訳（メタデータ） (2023-09-29T18:18:32Z) - Affective Decoding for Empathetic Response Generation [8.391383696266704]
共感応答生成のためのAffective Decodingと呼ばれる手法を提案する。
本手法は,各デコーディングステップ中に感情信号を効果的に組み込むことができる。
我々のモデルは人間の評価により共感的であると認識されている。
論文 参考訳（メタデータ） (2021-08-18T11:48:40Z) - Emotion-aware Chat Machine: Automatic Emotional Response Generation for
Human-like Emotional Interaction [55.47134146639492]
この記事では、投稿中のセマンティクスと感情を同時にエンコードできる、未定義のエンドツーエンドニューラルネットワークを提案する。
実世界のデータを用いた実験により,提案手法は,コンテンツコヒーレンスと感情の適切性の両方の観点から,最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2021-06-06T06:26:15Z) - Disambiguating Affective Stimulus Associations for Robot Perception and
Dialogue [67.89143112645556]
知覚された聴覚刺激と感情表現の関連性を学ぶことができるNICOロボットを提供します。
NICOは、感情駆動対話システムの助けを借りて、個人と特定の刺激の両方でこれを行うことができる。
ロボットは、実際のHRIシナリオにおいて、被験者の聴覚刺激の楽しさを判断するために、この情報を利用することができる。
論文 参考訳（メタデータ） (2021-03-05T20:55:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。