論文の概要: LUCY: Linguistic Understanding and Control Yielding Early Stage of Her

• arxiv url: http://arxiv.org/abs/2501.16327v1
• Date: Mon, 27 Jan 2025 18:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:54:57.080117
• Title: LUCY: Linguistic Understanding and Control Yielding Early Stage of Her
• Title（参考訳）: LUCY:彼女の初期段階における言語理解と制御
• Authors: Heting Gao, Hang Shao, Xiong Wang, Chaofan Qiu, Yunhang Shen, Siqi Cai, Yuchen Shi, Zihan Xu, Zuwei Long, Yike Zhang, Shaoqi Dong, Chaoyou Fu, Ke Li, Long Ma, Xing Sun,
• Abstract要約: 本稿では,ユーザの感情を感知し,反応するE2E音声モデルLUCYを提案する。 実験により、LUCYはピアモデルよりも感情制御が優れていることが示された。 LUCYは関数呼び出しを利用して、知識の範囲外にある質問に答える。
• 参考スコア（独自算出の注目度）: 41.25370454862011
• License:
• Abstract: The film Her features Samantha, a sophisticated AI audio agent who is capable of understanding both linguistic and paralinguistic information in human speech and delivering real-time responses that are natural, informative and sensitive to emotional subtleties. Moving one step toward more sophisticated audio agent from recent advancement in end-to-end (E2E) speech systems, we propose LUCY, a E2E speech model that (1) senses and responds to user's emotion, (2) deliver responses in a succinct and natural style, and (3) use external tool to answer real-time inquiries. Experiment results show that LUCY is better at emotion control than peer models, generating emotional responses based on linguistic emotional instructions and responding to paralinguistic emotional cues. Lucy is also able to generate responses in a more natural style, as judged by external language models, without sacrificing much performance on general question answering. Finally, LUCY can leverage function calls to answer questions that are out of its knowledge scope.
• Abstract（参考訳）: 映画『Her』では、人間の発話における言語情報とパラ言語情報の両方を理解し、自然な、情報的、感情的な微妙さに敏感なリアルタイム応答を提供する、洗練されたAIオーディオエージェントであるサマンサが特集されている。 本稿では,(1)ユーザの感情に反応するE2E音声モデルLUCY,(2)簡潔で自然なスタイルの応答の提供,(3)外部ツールによるリアルタイム質問応答を提案する。 実験の結果,LUCYは他者モデルよりも感情制御が優れ,言語的感情的指示に基づく感情応答が生成され,パラ言語的感情的手がかりに反応することが示唆された。 ルーシーはまた、外部言語モデルによって判断されるように、より自然なスタイルで応答を生成することができ、一般的な質問応答のパフォーマンスを犠牲にすることはない。 最後に、LUCYは関数呼び出しを利用して、知識の範囲外にある質問に答える。

関連論文リスト

• Beyond Profile: From Surface-Level Facts to Deep Persona Simulation in LLMs [50.0874045899661]
  本稿では,キャラクタの言語パターンと特徴的思考過程の両方を再現するモデルであるキャラクタボットを紹介する。 ケーススタディとしてLu Xunを用いて、17冊のエッセイコレクションから得られた4つのトレーニングタスクを提案する。 これには、外部の言語構造と知識を習得することに焦点を当てた事前訓練タスクと、3つの微調整タスクが含まれる。 言語的正確性と意見理解の3つのタスクにおいて、キャラクタボットを評価し、適応されたメトリクスのベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2025-02-18T16:11:54Z)
• Leveraging Chain of Thought towards Empathetic Spoken Dialogue without Corresponding Question-Answering Data [33.85748258158527]
  共感的対話は人間とコンピュータの自然な相互作用に不可欠である。 大規模言語モデル(LLM)は、その強力な能力を活用して対話生成に革命をもたらした。 本稿では,質問応答データの必要性を回避する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-19T04:10:53Z)
• SIFToM: Robust Spoken Instruction Following through Theory of Mind [51.326266354164716]
  本稿では,認知にインスパイアされた音声指導モデルであるSIFToMを提案し,多様な音声条件下でロボットが人間の指示を実践的に追従できるようにする。 結果から,SIFToMモデルは現状の音声モデルや言語モデルよりも優れており,課題に追従する音声命令に対する人間レベルの精度に近づいていることがわかった。
  論文  参考訳（メタデータ） (2024-09-17T02:36:10Z)
• Situated Instruction Following [87.37244711380411]
  本稿では,実世界のコミュニケーションの非特異性とあいまいさを取り入れた位置指示について述べる。 位置指示の意味は、人間の過去の行動と将来の行動を通じて自然に展開される。 我々の実験は、現在最先端の身体的指示追従(EIF)モデルが、位置する人間の意図の全体的理解を欠いていることを示唆している。
  論文  参考訳（メタデータ） (2024-07-15T19:32:30Z)
• Think out Loud: Emotion Deducing Explanation in Dialogues [57.90554323226896]
  対話における感情推論(Emotion Deducing Explanation in Dialogues)を提案する。 EDENは感情と原因を明確な考え方で認識する。 大規模言語モデル(LLM)が感情や原因をよりよく認識するのに役立ちます。
  論文  参考訳（メタデータ） (2024-06-07T08:58:29Z)
• BLSP-Emo: Towards Empathetic Large Speech-Language Models [34.62210186235263]
  BLSP-Emoは、音声における意味と感情の両方を理解可能なエンドツーエンドの音声言語モデルを開発するための新しいアプローチである。 実験の結果,BLSP-Emoモデルでは,音声の理解と共感応答の伝達が優れていることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T09:02:31Z)
• Emotional Listener Portrait: Realistic Listener Motion Simulation in Conversation [50.35367785674921]
  リスナーヘッドジェネレーションは、話者から提供される情報を参照して、リスナーの非言語行動を生成することに集中する。 このような反応を生成する上で重要な課題は、会話中のきめ細かい表情の非決定論的性質である。 本稿では,複数の個別な動きコーパスの合成として,各顔の動きを微粒化処理する情緒的リスナー・ポートレート(ELP)を提案する。 ELPモデルは,学習分布からのサンプリングにより,与えられた話者に対する自然な,多様な応答を自動的に生成するだけでなく,所定の姿勢で制御可能な応答を生成することができる。
  論文  参考訳（メタデータ） (2023-09-29T18:18:32Z)
• EmoSpeech: Guiding FastSpeech2 Towards Emotional Text to Speech [0.0]
  最先端の音声モデルは、人間の声にできるだけ近づこうとしている。 感情をモデル化することは、Text-To-Speech (TTS) 研究の不可欠な部分である。 EmoSpeechは、生成された音声におけるMOSスコアと感情認識の精度に関する既存のモデルを上回る。
  論文  参考訳（メタデータ） (2023-06-28T19:34:16Z)
• How to talk so your robot will learn: Instructions, descriptions, and pragmatics [14.289220844201695]
  我々は、人間が行動よりも好みを伝達する方法を研究する。 従来の強化学習環境では、実践的な社会学習が個別の学習と統合し、加速することができることを示す。 以上の結果から,より幅広い言語からの社会的学習が,より広範に価値アライメントと強化学習の有望なアプローチであることが示唆された。
  論文  参考訳（メタデータ） (2022-06-16T01:33:38Z)
• Empathetic Response Generation with State Management [32.421924357260075]
  共感的反応生成の目標は、会話における感情を知覚し表現する対話システムの能力を高めることである。 感情や意図を含む複数の状態情報を同時に考察できる新しい共感応答生成モデルを提案する。 実験の結果、異なる情報を動的に管理することは、モデルがより共感的な反応を生成するのに役立つことが示された。
  論文  参考訳（メタデータ） (2022-05-07T16:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。