Fugu-MT 論文翻訳(概要): Character Beyond Speech: Leveraging Role-Playing Evaluation in Audio Large Language Models via Reinforcement Learning

論文の概要: Character Beyond Speech: Leveraging Role-Playing Evaluation in Audio Large Language Models via Reinforcement Learning

arxiv url: http://arxiv.org/abs/2604.13804v1
Date: Wed, 15 Apr 2026 12:39:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-16 20:38:32.535864
Title: Character Beyond Speech: Leveraging Role-Playing Evaluation in Audio Large Language Models via Reinforcement Learning
Title（参考訳）: 音声以外のキャラクタ:強化学習による大規模音声モデルのロールプレイング評価の活用
Authors: Dongjie Fu, Fangming Feng, Xize Cheng, Linjun Li, Zhou Zhao, Tao Jin,
Abstract要約: RoleJudgeは、音声大言語モデルを利用して、音声と文字のアライメントを評価する評価フレームワークである。連鎖推論アノテーションを付加した最初の音声ロールプレイング評価データセットであるRoleChatを紹介する。
参考スコア（独自算出の注目度）: 57.22705949022221
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: The rapid evolution of multimodal large models has revolutionized the simulation of diverse characters in speech dialogue systems, enabling a novel interactive paradigm. Character attributes are manifested not only in textual responses but also through vocal features, as speech conveys rich paralinguistic information that is challenging to quantify. This poses significant difficulties in evaluating the character alignment of role-playing agents. To address these challenges, we present RoleJudge, an evaluation framework that leverages audio large language models to systematically assess the alignment between speech and character across multiple modalities and dimensions. Furthermore, we introduce RoleChat, the first voice role-playing evaluation dataset enriched with chain-of-thought reasoning annotations, comprising a diverse set of authentic and LLM-generated speech samples. Utilizing this dataset, we implement a multi-stage training paradigm and incorporate Standard Alignment in reinforcement learning to mitigate reward misalignment during optimization. Experimental results in terms of accuracy and subjective assessment demonstrate that RoleJudge outperforms various baseline models, validating the effectiveness of our multidimensional evaluation framework.
Abstract（参考訳）: マルチモーダル大モデルの急速な進化は、音声対話システムにおける多様な文字のシミュレーションに革命をもたらし、新しい対話的パラダイムを可能にした。文字属性は、テキスト応答だけでなく、音声の特徴によっても表され、音声は定量化が難しい豊富なパラ言語情報を伝達する。これはロールプレイングエージェントのキャラクタアライメントを評価する上で大きな困難を生じさせる。これらの課題に対処するため,複数のモーダルと次元をまたいだ音声とキャラクタのアライメントを体系的に評価するために,音声大言語モデルを活用した評価フレームワークであるRoleJudgeを提案する。さらに,連鎖推論アノテーションを付加した最初の音声ロールプレイング評価データセットであるRoleChatを紹介する。このデータセットを利用して、多段階トレーニングパラダイムを実装し、強化学習にStandard Alignmentを導入し、最適化中の報酬の不一致を軽減する。精度と主観評価の両面での実験結果から,RoleJudgeは様々なベースラインモデルよりも優れており,多次元評価フレームワークの有効性が検証されている。

論文の概要: Character Beyond Speech: Leveraging Role-Playing Evaluation in Audio Large Language Models via Reinforcement Learning

関連論文リスト