論文の概要: Leveraging Chain of Thought towards Empathetic Spoken Dialogue without Corresponding Question-Answering Data

• arxiv url: http://arxiv.org/abs/2501.10937v1
• Date: Sun, 19 Jan 2025 04:10:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:21:06.271047
• Title: Leveraging Chain of Thought towards Empathetic Spoken Dialogue without Corresponding Question-Answering Data
• Title（参考訳）: 質問応答データに応答しない共感的音声対話に対する思考の連鎖
• Authors: Jingran Xie, Shun Lei, Yue Yu, Yang Xiang, Hui Wang, Xixin Wu, Zhiyong Wu,
• Abstract要約: 共感的対話は人間とコンピュータの自然な相互作用に不可欠である。 大規模言語モデル(LLM)は、その強力な能力を活用して対話生成に革命をもたらした。 本稿では,質問応答データの必要性を回避する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 33.85748258158527
• License:
• Abstract: Empathetic dialogue is crucial for natural human-computer interaction, allowing the dialogue system to respond in a more personalized and emotionally aware manner, improving user satisfaction and engagement. The emergence of large language models (LLMs) has revolutionized dialogue generation by harnessing their powerful capabilities and shown its potential in multimodal domains. Many studies have integrated speech with text-based LLMs to take speech question as input and output text response. However, the lack of spoken question-answering datasets that include speech style information to supervised fine-tuning (SFT) limits the performance of these systems. As a result, while these systems excel at understanding speech content, they often struggle to generate empathetic responses. In response, we propose a novel approach that circumvents the need for question-answering data, called Listen, Perceive, and Express (LPE). Our method employs a two-stage training process, initially guiding the LLM to listen the content and perceive the emotional aspects of speech. Subsequently, we utilize Chain-of-Thought (CoT) prompting to unlock the model's potential for expressing empathetic responses based on listened spoken content and perceived emotional cues. We employ experiments to prove the effectiveness of proposed method. To our knowledge, this is the first attempt to leverage CoT for speech-based dialogue.
• Abstract（参考訳）: 共感的対話は、人間とコンピュータの自然な相互作用にとって不可欠であり、対話システムはよりパーソナライズされ、感情的に認識された方法で応答し、ユーザの満足度とエンゲージメントを向上させる。 大規模言語モデル(LLM)の出現は、その強力な能力を活用して対話生成に革命をもたらし、マルチモーダルドメインにおけるその可能性を示した。 多くの研究は、音声をテキストベースのLLMと統合し、音声質問を入力として取り、テキスト応答を出力する。 しかし、音声スタイル情報を含む音声質問応答データセットの欠如は、これらのシステムの性能を制限している。 その結果,これらのシステムは音声内容の理解に長けているが,情緒的反応の獲得に苦慮することが多い。 そこで本研究では,LPE (Listen, Perceive, Express) と呼ばれる質問応答データの必要性を回避する新しい手法を提案する。 本手法は,2段階の学習プロセスを用いて,まずLLMに対して,内容の聴取と音声の感情的側面の知覚を指導する。 その後,聴取された音声内容と知覚された感情的手がかりに基づいて共感的反応を表現するモデルの可能性の解き放つために,Chain-of-Thought(CoT)を利用する。 提案手法の有効性を実証するために実験を用いる。 我々の知る限り、これは音声対話にCoTを活用する最初の試みである。

関連論文リスト

• AV-EmoDialog: Chat with Audio-Visual Users Leveraging Emotional Cues [37.96886343501444]
  AV-EmoDialogは,ユーザの音声・視覚入力からの言語情報や非言語情報を利用して,より応答性が高く共感的な対話を生成するための対話システムである。 AV-EmoDialogは、音声と視覚の対話における感情の手がかりを体系的に活用し、音声から音声の内容と感情のトーンを抽出し、視覚からきめ細かい表情を分析し、これらの手がかりを統合し、エンドツーエンドで感情的な反応を生成する。
  論文  参考訳（メタデータ） (2024-12-23T05:24:26Z)
• WavChat: A Survey of Spoken Dialogue Models [66.82775211793547]
  GPT-4oのようなシステムで実証された音声対話モデルの最近の進歩は、音声領域において大きな注目を集めている。 これらの高度な音声対話モデルは、音声、音楽、その他の音声関連の特徴を理解するだけでなく、音声のスタイリスティックな特徴や音節的な特徴も捉える。 音声対話システムの進歩にもかかわらず、これらのシステムを体系的に組織化し分析する包括的調査が欠如している。
  論文  参考訳（メタデータ） (2024-11-15T04:16:45Z)
• Interactive Dialogue Agents via Reinforcement Learning on Hindsight Regenerations [58.65755268815283]
  多くの実際の対話は対話的であり、つまりエージェントの発話が会話の相手に影響を与えるか、情報を引き出すか、意見を変えるかである。 この事実を利用して、既存の最適データを書き直し、拡張し、オフライン強化学習(RL)を介してトレーニングする。 実際の人間によるユーザ調査の結果、我々のアプローチは既存の最先端の対話エージェントを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-07T21:37:51Z)
• IntrinsicVoice: Empowering LLMs with Intrinsic Real-time Voice Interaction Abilities [55.11130688075417]
  IntrinsicVoicは、本質的なリアルタイム音声対話機能を備えたLLMである。 我々の新規アーキテクチャであるGroupFormerは、テキストシーケンスに匹敵する長さまで音声シーケンスを削減できる。 我々は,500k近い音声対音声対話を含む,メソッド500kというマルチターン音声対音声対話データセットを構築した。
  論文  参考訳（メタデータ） (2024-10-09T05:04:31Z)
• Frozen Large Language Models Can Perceive Paralinguistic Aspects of Speech [29.847183061204436]
  大きな言語モデル(LLM)は、ユーザーの感情や会話スタイルを考慮に入れられる。 本研究では,音声エンコーダを用いたエンドツーエンドシステムを提案する。 このトレーニングフレームワークにより,音声中の意味的情報とパラ言語的情報の両方をキャプチャするトークンをエンコーダが生成できることがわかった。
  論文  参考訳（メタデータ） (2024-10-02T01:32:47Z)
• Can LLMs Understand the Implication of Emphasized Sentences in Dialogue? [64.72966061510375]
  強調は人間のコミュニケーションにおいて重要な要素であり、対話における純粋テキストを超えて話者の意図と含意を示す。 本稿では,強調の意味を抽出した強調注釈付き対話サンプルを用いたベンチマークであるEmphasized-Talkを紹介する。 オープンソースと商用の両方で様々な大規模言語モデル(LLM)を評価し,その性能を重要視して評価する。
  論文  参考訳（メタデータ） (2024-06-16T20:41:44Z)
• Multiscale Contextual Learning for Speech Emotion Recognition in Emergency Call Center Conversations [4.297070083645049]
  本稿では,音声感情認識のためのマルチスケール会話文脈学習手法を提案する。 音声の書き起こしと音響セグメントの両方について,本手法について検討した。 我々のテストによると、過去のトークンから派生したコンテキストは、以下のトークンよりも正確な予測に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-08-28T20:31:45Z)
• deep learning of segment-level feature representation for speech emotion recognition in conversations [9.432208348863336]
  そこで本稿では,意図的文脈依存と話者感応的相互作用をキャプチャする対話型音声感情認識手法を提案する。 まず、事前訓練されたVGGishモデルを用いて、個々の発話におけるセグメントベース音声表現を抽出する。 第2に、注意的双方向リカレントユニット(GRU)は、文脈に敏感な情報をモデル化し、話者内および話者間依存関係を共同で探索する。
  論文  参考訳（メタデータ） (2023-02-05T16:15:46Z)
• Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension [81.47133615169203]
  本稿では,PrLMの逐次文脈化を超えて,発話間の包括的相互作用のための合成学習を提案する。 私たちは、モデルが対話ドメインに適応するのを助けるために、ドメイン適応型トレーニング戦略を採用しています。 実験の結果,提案手法は4つの公開ベンチマークデータセットにおいて,強力なPrLMベースラインを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-01-10T13:18:25Z)
• End-to-end Spoken Conversational Question Answering: Task, Dataset and Model [92.18621726802726]
  音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。 本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。 本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
  論文  参考訳（メタデータ） (2022-04-29T17:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。