論文の概要: RoleBreak: Benchmarking Long-Horizon Role-Playing Robustness in Spoken Dialogue
- arxiv url: http://arxiv.org/abs/2609.16614v1
- Date: Tue, 15 Sep 2026 04:19:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.339765
- Title: RoleBreak: Benchmarking Long-Horizon Role-Playing Robustness in Spoken Dialogue
- Title（参考訳）: RoleBreak: 音声対話における長期ロールプレイングロバストネスのベンチマーク
- Abstract要約: 音声対話における長軸ロールプレイングロバストネスのオープンベンチマークであるRoleBreakを紹介する。
RoleBreakには310の文字ベースとユーザ中心のロール、6,688の人間認証ダイアログ、11,743のきめ細かい評価基準が含まれている。
まず、現在のシステムは、声の感情よりも意味的役割の付着が強くなっている。
第2に、セマンティックロバスト性は長い相互作用に対して脆弱であり、最強の評価されたシステムでさえ、平均で10.4と11.6だけ回転した後、その最初のペルソナと安全上の障害に遭遇する。
- 参考スコア（独自算出の注目度）: 14.12516754496197
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speech-to-speech dialogue models increasingly support persona control, yet existing spoken role-playing benchmarks remain largely character-centric and short-horizon. This leaves open whether spoken dialogue models can sustain diverse roles over extended interactions, especially beyond predefined fictional characters. We introduce RoleBreak, an open benchmark for long-horizon role-playing robustness in spoken dialogue. RoleBreak contains 310 character-based and user-centered roles, 6,688 human-verified dialogue turns, and 11,743 fine-grained evaluation criteria, with 1,856 turns carrying expressive emotion targets for evaluating vocal emotion. Its scenarios are designed to stress role consistency, interaction quality, safety, and affect over extended conversations. We evaluate nine configurations spanning full-duplex, omni-modal, and cascaded ASR--LLM--TTS paradigms. We find four key patterns. First, current systems are substantially stronger at semantic role adherence than at vocal emotion. Second, semantic robustness remains brittle over long interactions: even the strongest evaluated system encounters its first persona and safety failures after only 10.4 and 11.6 turns on average. Third, scaling the LLM substantially improves semantic robustness and delays failure, but yields little improvement in vocal emotion. Finally, user vocal emotion affects role-playing behavior even when linguistic content is fixed. These findings highlight persistent gaps in both long-horizon robustness and vocal expressiveness in spoken role-playing systems.
- Abstract（参考訳）: 音声音声対話モデルは、ペルソナ制御をますますサポートしているが、既存の音声ロールプレイングベンチマークは、主に文字中心で短水平のままである。
このことは、音声対話モデルが、特に予め定義された架空のキャラクターを超えて、拡張された相互作用よりも多様な役割を維持できるかどうかを物語っている。
音声対話における長軸ロールプレイングロバストネスのオープンベンチマークであるRoleBreakを紹介する。
RoleBreakには310の文字ベースとユーザ中心のロール、6,688の人間認証された対話、11,743のきめ細かい評価基準があり、1,856のターンが声の感情を評価するための表現的な感情のターゲットを担っている。
そのシナリオは、役割の一貫性、相互作用の品質、安全性、拡張された会話に対する影響を強調するように設計されています。
フルデュープレックス,オムニモーダル,カスケードされたASR--LLM--TTSパラダイムにまたがる9つの構成について検討した。
主なパターンは4つある。
第一に、現在のシステムは、声の感情よりも意味的役割の付着がかなり強い。
第2に、セマンティックロバスト性は長い相互作用に対して脆弱であり、最強の評価されたシステムでさえ、平均で10.4と11.6だけ回転した後、その最初のペルソナと安全上の障害に遭遇する。
第三に、LLMのスケーリングは意味的堅牢性を大幅に改善し、失敗を遅らせるが、声の感情がほとんど改善しない。
最後に,言語内容が固定された場合でも,ユーザの声の感情がロールプレイング行動に影響を及ぼす。
これらの知見は,音声ロールプレイングシステムにおける長軸頑健性と声道表現性の両方において持続的なギャップを浮き彫りにした。
関連論文リスト
- Adaptive Turn-Taking for Real-time Multi-Party Voice Agents [4.515705397557082]
マルチパーティ設定において、明示的に割り当てられたロールにターンテイク動作を条件付けるロールプレイング音声エージェントであるModerratorLMを提案する。
RolePlayConvは,多様なアシスタント機能を備えた音声多人数会話の大規模合成データセットである。
論文 参考訳（メタデータ） (2026-06-11T16:27:45Z) - Character Beyond Speech: Leveraging Role-Playing Evaluation in Audio Large Language Models via Reinforcement Learning [57.22705949022221]
RoleJudgeは、音声大言語モデルを利用して、音声と文字のアライメントを評価する評価フレームワークである。
連鎖推論アノテーションを付加した最初の音声ロールプレイング評価データセットであるRoleChatを紹介する。
論文 参考訳（メタデータ） (2026-04-15T12:39:03Z) - ActorMind: Emulating Human Actor Reasoning for Speech Role-Playing [33.79520698647648]
音声ロールプレイングにより、モデルは、役割、シーン、および音声対話に基づいて、パーソナライズされた言語特性を持つ自発的な応答を提供することができる。
ActorMindは、劇場での俳優の演技をエミュレートする、既成のマルチエージェント・チェーンスタイルの推論フレームワークだ。
論文 参考訳（メタデータ） (2026-04-13T07:20:20Z) - EchoMind: An Interrelated Multi-level Benchmark for Evaluating Empathetic Speech Language Models [47.41816926003011]
音声言語モデル(SLM)は、音声言語理解において大きな進歩を遂げている。
SLMが非語彙的声道を完全に知覚できるかどうかは不明であるが、感情的・文脈的要因の双方に合致する共感に反応する。
共感的対話の認知過程をシミュレートする最初の相互関連型マルチレベルベンチマークであるEchoMindを提案する。
論文 参考訳（メタデータ） (2025-10-26T17:15:56Z) - VoxRole: A Comprehensive Benchmark for Evaluating Speech-Based Role-Playing Agents [25.2769510663867]
我々は、音声ベースのRPCAsの評価に特化して設計された最初の総合ベンチマークであるVoxRoleを紹介する。
ベンチマークは13335のマルチターンダイアログで構成され、261本の映画に1228のユニークなキャラクターから65.6時間のスピーチがある。
論文 参考訳（メタデータ） (2025-09-04T07:03:46Z) - SpeechRole: A Large-Scale Dataset and Benchmark for Evaluating Speech Role-Playing Agents [72.79816494079833]
ロールプレイングエージェントは、パーソナライズされた相互作用と感情共鳴を達成するための有望なパラダイムとして登場した。
既存の研究は主にテキストのモダリティに焦点を当て、現実的な対話的なシナリオにおける音声の重要な次元を無視している。
我々は,98の多様な役割と112kの音声ベースの1ターン・マルチターン会話からなる大規模かつ高品質なデータセットであるSpeechRole-Dataを構築した。
論文 参考訳（メタデータ） (2025-08-04T03:18:36Z) - HAMLET: Hyperadaptive Agent-based Modeling for Live Embodied Theatrics [48.154666939669205]
HAMLETは、ドラマ制作とオンラインパフォーマンスに焦点を当てたマルチエージェントフレームワークである。
オンラインパフォーマンスでは、各俳優に自律的な心が与えられる。
HamLETは表現的で一貫性のある演劇体験を作り出すことができる。
論文 参考訳（メタデータ） (2025-07-21T11:36:39Z) - OmniCharacter: Towards Immersive Role-Playing Agents with Seamless Speech-Language Personality Interaction [123.89581506075461]
OmniCharacter は,低レイテンシで没入型 RPA を実現するための対話型対話モデルである。
具体的には、OmniCharacterは、エージェントが相互作用を通して、ロール固有の性格特性と声質特性を一貫して表示できるようにする。
提案手法は,既存のRPAモデルや主流言語モデルと比較して,応答遅延を289msに抑えながら,内容とスタイルの両面で優れた応答が得られる。
論文 参考訳（メタデータ） (2025-05-26T17:55:06Z) - X-TURING: Towards an Enhanced and Efficient Turing Test for Long-Term Dialogue Agents [56.64615470513102]
チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すかどうかを調べる。
従来の設定では、各参加者は一度に1つのメッセージに制限される。
本稿では,textitburstダイアログパターンを用いて,元のテストを強化するtextbftextscX-Turingを提案する。
論文 参考訳（メタデータ） (2024-08-19T09:57:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。