論文の概要: SpeechRole: A Large-Scale Dataset and Benchmark for Evaluating Speech Role-Playing Agents

• arxiv url: http://arxiv.org/abs/2508.02013v2
• Date: Tue, 05 Aug 2025 09:00:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 13:15:14.135688
• Title: SpeechRole: A Large-Scale Dataset and Benchmark for Evaluating Speech Role-Playing Agents
• Title（参考訳）: SpeechRole: 音声ロールプレイングエージェントの評価のための大規模データセットとベンチマーク
• Authors: Changhao Jiang, Jiajun Sun, Yifei Cao, Jiabao Zhuang, Hui Li, Xiaoran Fan, Ming Zhang, Junjie Ye, Shihan Dou, Zhiheng Xi, Jingqi Tong, Yilong Wu, Baoyu Fan, Zhen Wang, Tao Liang, Zhihui Fei, Mingyang Wan, Guojun Ma, Tao Ji, Tao Gui, Qi Zhang, Xuanjing Huang,
• Abstract要約: ロールプレイングエージェントは、パーソナライズされた相互作用と感情共鳴を達成するための有望なパラダイムとして登場した。 既存の研究は主にテキストのモダリティに焦点を当て、現実的な対話的なシナリオにおける音声の重要な次元を無視している。 我々は,98の多様な役割と112kの音声ベースの1ターン・マルチターン会話からなる大規模かつ高品質なデータセットであるSpeechRole-Dataを構築した。
• 参考スコア（独自算出の注目度）: 52.29009595100625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, role-playing agents have emerged as a promising paradigm for achieving personalized interaction and emotional resonance. Existing research primarily focuses on the textual modality, neglecting the critical dimension of speech in realistic interactive scenarios. In particular, there is a lack of systematic evaluation for Speech Role-Playing Agents (SRPAs). To address this gap, we construct SpeechRole-Data, a large-scale, high-quality dataset that comprises 98 diverse roles and 112k speech-based single-turn and multi-turn conversations. Each role demonstrates distinct vocal characteristics, including timbre and prosody, thereby enabling more sophisticated speech role-playing. Furthermore, we propose SpeechRole-Eval, a multidimensional evaluation benchmark that systematically assesses SRPAs performance in key aspects such as fundamental interaction ability, speech expressiveness, and role-playing fidelity. Experimental results reveal the advantages and challenges of both cascaded and end-to-end speech role-playing agents in maintaining vocal style consistency and role coherence. We release all data, code, and baseline models to provide a solid foundation for speech-driven multimodal role-playing research and to foster further developments in this field.
• Abstract（参考訳）: 近年, パーソナライズされた相互作用と感情共鳴を実現する上で, ロールプレイングエージェントが有望なパラダイムとして出現している。 既存の研究は主にテキストのモダリティに焦点を当て、現実的な対話的なシナリオにおける音声の重要な次元を無視している。 特に、音声ロールプレイングエージェント(SRPA)の体系的評価が欠如している。 このギャップに対処するために、98の多様な役割と112kの音声に基づく1ターンと複数ターンの会話からなる大規模で高品質なデータセットであるSpeechRole-Dataを構築した。 各ロールは、音色や韻律を含む異なる声の特徴を示し、それによってより洗練された音声ロールプレイングを可能にする。 さらに,多次元評価ベンチマークであるSpeechRole-Evalを提案する。 実験結果から, 発声スタイルの整合性と役割の整合性を維持する上で, ケースドとエンド・ツー・エンドの両方のロールプレイングエージェントの利点と課題を明らかにした。 我々は、音声駆動型マルチモーダルロールプレイング研究の基盤となるため、すべてのデータ、コード、ベースラインモデルをリリースし、この分野のさらなる発展を後押しする。

関連論文リスト

• C3: A Bilingual Benchmark for Spoken Dialogue Models Exploring Challenges in Complex Conversations [23.11314388159895]
  音声対話モデル(SDM)は近年,ユーザの音声クエリに直接音声応答を生成する能力に注目が集まっている。 人間の音声相互作用は、音声対話特有の特徴のため、本質的にテキストよりも複雑である。
  論文  参考訳（メタデータ） (2025-07-30T17:56:23Z)
• Aligning Spoken Dialogue Models from User Interactions [55.192134724622235]
  本稿では,ユーザの対話からリアルタイム会話における音声対話モデルを改善するための新しい嗜好アライメントフレームワークを提案する。 AIフィードバックを付加した生のマルチターン音声会話から15万以上の好みペアのデータセットを作成する。 本研究は, 自然なリアルタイム音声対話システムにおいて重要な, 様々な力学におけるバランスの整合性の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-06-26T16:45:20Z)
• OmniCharacter: Towards Immersive Role-Playing Agents with Seamless Speech-Language Personality Interaction [123.89581506075461]
  OmniCharacter は,低レイテンシで没入型 RPA を実現するための対話型対話モデルである。 具体的には、OmniCharacterは、エージェントが相互作用を通して、ロール固有の性格特性と声質特性を一貫して表示できるようにする。 提案手法は,既存のRPAモデルや主流言語モデルと比較して,応答遅延を289msに抑えながら,内容とスタイルの両面で優れた応答が得られる。
  論文  参考訳（メタデータ） (2025-05-26T17:55:06Z)
• Multimodal Conversation Structure Understanding [12.29827265137757]
  大きな言語モデルでは、きめ細かい会話構造を理解する能力は未解明のままである。 我々は,話者と回答関係のための4,398の注釈付きデータセット,5,755人のアドレナリ,3,142人のサイド参加者を提示する。 音声-視覚的LLMと視覚言語モデルの評価をデータセット上で行い, 実験結果から, マルチモーダル対話構造理解は依然として困難であることが示唆された。
  論文  参考訳（メタデータ） (2025-05-23T06:41:54Z)
• VocalBench: Benchmarking the Vocal Conversational Abilities for Speech Interaction Models [26.34810950257782]
  音声通信における音声対話モデルの能力を評価するためのベンチマークであるVocalBenchを提案する。 VocalBenchは、セマンティック品質、アコースティックパフォーマンス、会話能力、ロバストネスの4つの重要なディメンションにわたって、9,400の慎重にキュレーションされたインスタンスで構成されている。 実験結果から、現在のモデル能力に有意な変動が見られ、それぞれ異なる強度と弱点が示される。
  論文  参考訳（メタデータ） (2025-05-21T16:34:07Z)
• Speaker Verification in Agent-Generated Conversations [47.6291644653831]
  近年の大型言語モデル (LLM) の成功は、様々な話者の特徴やスタイルに合わせたロールプレイング・会話エージェントを開発し、汎用的・特殊な対話タスクを遂行する能力を高めるために広く関心を集めている。 本研究では,2つの発話が同一話者から発せられるかどうかを検証することを目的とした,エージェント生成会話における話者検証という,新たな評価課題を紹介する。
  論文  参考訳（メタデータ） (2024-05-16T14:46:18Z)
• SocialBench: Sociality Evaluation of Role-Playing Conversational Agents [85.6641890712617]
  大規模言語モデル(LLM)は、様々なAI対話エージェントの開発を進めてきた。 SocialBenchは、ロールプレイングの会話エージェントの社会的性を個人レベルとグループレベルで評価するために設計された最初のベンチマークである。 個人レベルで優れたエージェントは,集団レベルでの熟練度を示唆しない。
  論文  参考訳（メタデータ） (2024-03-20T15:38:36Z)
• Revisiting Conversation Discourse for Dialogue Disentanglement [88.3386821205896]
  本稿では,対話談話特性を最大限に活用し,対話の絡み合いを高めることを提案する。 我々は,会話の意味的文脈をより良くモデル化するために,リッチな構造的特徴を統合する構造認識フレームワークを開発した。 我々の研究は、より広範なマルチスレッド対話アプリケーションを促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-06-06T19:17:47Z)
• Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue [76.88174667929665]
  マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。 既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。 本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-14T15:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。