Fugu-MT 論文翻訳(概要): Conversational Voice Aesthetic Model with Reinforcement Learning from Human Listeners

論文の概要: Conversational Voice Aesthetic Model with Reinforcement Learning from Human Listeners

arxiv url: http://arxiv.org/abs/2610.10868v1
Date: Wed, 07 Oct 2026 20:13:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-10 02:36:53.664867
Title: Conversational Voice Aesthetic Model with Reinforcement Learning from Human Listeners
Title（参考訳）: 人間の聴取者からの強化学習を用いた会話音声美学モデル
Abstract要約: 対話型音声美学モデル(Conversational Voice Aesthetic Model)を提案する。 CVAMは、声を特徴付ける健全な瞬間を記述し、性別、ピッチ、ペーシング、感情、配信にまたがる9つのカテゴリーの属性を予測する。 CVAM は Gemini 3.1 Pro やオープンソースの LLM よりもヒューマンリスナーに好意的であり,シングルヒューマンvs-rest よりも優れていた。
参考スコア（独自算出の注目度）: 14.46066619575631
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce Conversational Voice Aesthetic Model, a speech large language model for describing the voice aesthetics of real or synthetic speech responses in natural conversational contexts. Given a context and a response speech, CVAM describes salient moments that characterize the voice and predicts nine categorical attributes spanning gender, pitch, pacing, emotion, and delivery. The key challenge lies in perceptual fields such as emotion and delivery, which are inherently subjective and lack definitive ground truth. Therefore, we collect ~10 human annotations for each of 3k real and synthetic responses derived from the CANDOR corpus. CVAM is supervised finetuned on synthesized aesthetic descriptions and labels, then optimized with Group Relative Policy Optimization on human judgments. Experiments show that CVAM better agrees with human listeners than Gemini 3.1 Pro and open-source speech LLMs, and outperforms single-human-vs.-rest agreement. Together, we demonstrate the importance of grounding voice aesthetics in human perception and propose a principled framework for human alignment.
Abstract（参考訳）: 対話型音声美学モデル(Conversational Voice Aesthetic Model)を提案する。 CVAMは、文脈と反応のスピーチが与えられたとき、声の特徴を表現し、性別、ピッチ、ペーシング、感情、配信にまたがる9つのカテゴリーの属性を予測する。鍵となる課題は、感情やデリバリーのような知覚の分野であり、それは本質的に主観的であり、根底的な真実を欠いている。そこで本研究では,CANDORコーパスから得られた3k実・合成応答について,約10個の注釈を収集する。 CVAMは、合成された美的記述やラベルに基づいて微調整され、人間の判断に対するグループ相対的ポリシー最適化によって最適化される。実験の結果、CVAMはGemini 3.1 ProやオープンソースのLLMよりも人間のリスナーに好意的であり、シングルヒューマンvよりも優れていた。合意書。本研究では,人間の知覚における音声美学の基盤化の重要性を実証し,人間のアライメントのための原則的枠組みを提案する。

関連論文リスト

Hearing Like Humans? Sound Symbolism and Perceptual Alignment in Speech Language Models [42.615235483872844]
音声記号(英: Sound symbolism)とは、音声を丸さや鋭さなどの知覚的な性質にマッピングする人間の傾向であり、主にスペルではなく音声の音響から生じる。本研究は、実際の人間の音声記録を用いて、その効果の聴覚、クロスモーダル、視覚的要素にまたがる人間のデータとモデル判断を比較して研究する。音声言語モデルの聴覚判断は、人間の知覚と不一致であり、人間の直感を駆動するスペクトル傾きなどの音響的手がかりを見逃すことが判明した。
論文参考訳（メタデータ） (2026-07-11T06:55:40Z)
MOSS-VoiceGenerator: Create Realistic Voices with Natural Language Descriptions [60.69565588088127]
MOSS-VoiceGeneratorは、自然言語プロンプトから直接新しい音色を生成するオープンソースの命令駆動音声生成モデルである。実世界の音響変化に曝露すると、より知覚的に自然な音声が生まれるという仮説に触発され、映画コンテンツから得られた大規模表現音声データに基づいて訓練を行う。主観的嗜好研究は、他の音声設計モデルと比較して、全体的な性能、指示追従、自然性においてその優位性を示す。
論文参考訳（メタデータ） (2026-03-30T06:40:59Z)
On the Emotion Understanding of Synthesized Speech [63.13411068766772]
感情は音声対話における中核的なパラ言語的特徴である。現在の音声感情認識(SER)モデルは、合成音声に一般化できない。生成音声言語モデル(SLM)は、パラ言語的手がかりを無視しながら、テキスト意味論から感情を推測する傾向がある。
論文参考訳（メタデータ） (2026-03-17T13:11:14Z)
Facial Expression Generation Aligned with Human Preference for Natural Dyadic Interaction [53.12445980832305]
本稿では,人間の嗜好に合わせた表情生成手法を提案する。本手法の鍵となるのは、行動学習プロセスとして、アイデンティティ非依存の表情の生成をフレーミングすることである。 2つのベンチマーク実験により,顔の表情と人の好みを効果的に一致させることが実証された。
論文参考訳（メタデータ） (2026-03-07T08:03:21Z)
GSRM: Generative Speech Reward Model for Speech RLHF [28.19230481779836]
Generative Speech Reward Model (GSRM) は、音声に合わせた推論中心の報酬モデルである。 GSRMは、音声の自然性評価を解釈可能な音響特徴抽出段階に分解するように訓練されている。実験により、GSRMは既存の音声の自然性予測器よりもかなり優れていることが示された。
論文参考訳（メタデータ） (2026-02-14T21:22:55Z)
EchoMind: An Interrelated Multi-level Benchmark for Evaluating Empathetic Speech Language Models [47.41816926003011]
音声言語モデル(SLM)は、音声言語理解において大きな進歩を遂げている。 SLMが非語彙的声道を完全に知覚できるかどうかは不明であるが、感情的・文脈的要因の双方に合致する共感に反応する。共感的対話の認知過程をシミュレートする最初の相互関連型マルチレベルベンチマークであるEchoMindを提案する。
論文参考訳（メタデータ） (2025-10-26T17:15:56Z)
OmniCharacter: Towards Immersive Role-Playing Agents with Seamless Speech-Language Personality Interaction [123.89581506075461]
OmniCharacter は,低レイテンシで没入型 RPA を実現するための対話型対話モデルである。具体的には、OmniCharacterは、エージェントが相互作用を通して、ロール固有の性格特性と声質特性を一貫して表示できるようにする。提案手法は,既存のRPAモデルや主流言語モデルと比較して,応答遅延を289msに抑えながら,内容とスタイルの両面で優れた応答が得られる。
論文参考訳（メタデータ） (2025-05-26T17:55:06Z)
Pragmatic Embodied Spoken Instruction Following in Human-Robot Collaboration with Theory of Mind [51.45478233267092]
認知にインスパイアされたニューロシンボリックモデルであるスポークインストラクション(Spken Instruction following through Theory of Mind, SIFToM)を提案する。 SIFToMはモデルに基づくメンタル推論を備えたビジョンランゲージモデルを使用して、多様な音声条件下でロボットが現実的に人間の指示に従うことを可能にする。その結果、SIFToMは、軽量ベースVLM(Gemini 2.5 Flash)の性能を大幅に向上し、最先端のVLM(Gemini 2.5 Pro)より優れ、タスク後の音声指示に挑戦する人間レベルの精度に近づいていることがわかった。
論文参考訳（メタデータ） (2024-09-17T02:36:10Z)
Evaluating Speech Synthesis by Training Recognizers on Synthetic Speech [34.8899247119748]
合成音声におけるASRモデルの訓練と実音声における性能評価を含む評価手法を提案する。提案手法は,SpeechLMScore や MOSNet と比較して,MOS の自然性と MOS の知性の両方に強い相関関係を示す。
論文参考訳（メタデータ） (2023-10-01T15:52:48Z)
EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model [56.75775793011719]
音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
論文参考訳（メタデータ） (2021-06-17T08:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。