論文の概要: Prompts versus Rules: Auditing and Controlling Speech Naturalness Behaviors in Voice User Simulators
- arxiv url: http://arxiv.org/abs/2610.11015v1
- Date: Wed, 07 Oct 2026 23:55:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.7092
- Title: Prompts versus Rules: Auditing and Controlling Speech Naturalness Behaviors in Voice User Simulators
- Title(参考訳): プロンプト対ルール:音声ユーザシミュレータにおける音声自然性行動の監査と制御
- Abstract要約: 我々は,Tau-Voiceの自然性特性,LLMに基づく3つのモデル間のプロンプトアプローチ,および不規則性,中断性,バックチャネル化のためのルールベースインジェクションアルゴリズムを検証した。
この結果から,ユーザシミュレーションのために学習されていないLCMは,ユーザ行動を表現するのに十分ではないことが示唆された。
- 参考スコア(独自算出の注目度): 2.7189239744175038
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As voice agents gain more popularity commercially, the user simulators used to evaluate the deployed agents are also being developed to include more realistic, variable, and diverse speech naturalness behaviors -- disfluency, interruption and backchanneling. The quality of the user simulator directly affects the validity of agent evaluation results. However, we find that most studies so far have not examined in detail whether the intended configuration for these behaviors is realized in the simulation. In this study, we audit the realized naturalness behaviors of tau-Voice, our own LLM-based prompting approach across three models, and our rule-based injection algorithm for disfluency, interruption, and backchanneling. We find that prompting for these behaviors is unreliable and produces speech inconsistent with the instructions, placed and distributed less naturally than the instruction implies. In contrast, our rule-based, model-free algorithm produces controllable and diverse naturalness behaviors more aligned with natural speech. Our results suggest that LLMs not purpose-trained for user simulation are not sufficient on their own to represent authentic user behavior, and that linguistically informed deterministic approaches or specialized models are needed to close the gap; auditing and reporting realized naturalness behaviors, rather than configured settings, is what makes that gap visible.
- Abstract(参考訳): 音声エージェントが商業的に普及するにつれて、デプロイされたエージェントを評価するために使用されるユーザシミュレータも開発され、より現実的で可変的で多様な音声の自然性行動(拡散、中断、バックチャネル)を含んでいる。
ユーザシミュレータの品質は、エージェント評価結果の妥当性に直接影響する。
しかし,本研究は,これらの動作の意図した構成がシミュレーションで実現されるかどうかを詳細に検討していない。
本研究では,Tau-Voiceの自然性特性,LLMに基づく3つのモデル間のプロンプトアプローチ,および拡散,中断,バックチャネルに対するルールベースインジェクションアルゴリズムを検証した。
これらの動作の促進は信頼性が低く、命令が意図するよりも自然に配置・配布されていない命令と矛盾する音声を生成する。
対照的に、ルールベースでモデルなしのアルゴリズムは、自然音声により整合した制御可能で多様な自然性行動を生成する。
本研究は, ユーザシミュレーションを目的としないLCMは, 真のユーザ行動を表現するには不十分であり, そのギャップを埋めるために言語的に認知された決定論的アプローチや専門モデルが必要であることを示唆する。
関連論文リスト
- Joint Workflow and Prompt Optimization for User Behavior Simulation [34.28191123837712]
SWORDはマルチエージェントワークフローと自然言語プロンプトを共同で最適化するフレームワークである。
プロンプトオンリー、ワークフローオンリー、ステージドオプティマイゼーションベースラインよりも統計的に有意な向上を実現している。
SWORDは、ドメイン関連信号、レビューセンチメントマッピングルール、疫学的崩壊前駆体を自律的に発見する。
論文 参考訳(メタデータ) (2026-10-06T02:59:54Z) - Representation Without Control: Testing the Realization Effect in Language Models [0.0]
大規模言語モデルは行動シミュレータとしてますます使われているが、そのアウトプットが人間のような認知メカニズムを反映しているかどうかは不明だ。
本研究では, リスクテイクが紙の後に体系的に異なる行動経済学において, 実効と実効的な利益と損失とを両立させることにより, この問題を解明する。
我々は,LPMの動作を,アクティベーションステアリングによる行動感度,内部表現の線形読み出し,因果制御の3つのレベルで評価した。
論文 参考訳(メタデータ) (2026-05-24T16:07:34Z) - The Illusion of Intervention: Your LLM-Simulated Experiment is an Observational Study [56.649987197786096]
大規模言語モデル(LLM)は人間の行動のシミュレータとしての可能性を示している。
LLMは潜在ユーザ属性の意図しないシフトを誘発し、ユーザのドリフトを引き起こす。
ユーザのドリフトによって生じる不確実性や選択バイアスを形式化する。
論文 参考訳(メタデータ) (2026-05-20T06:09:41Z) - Controllable User Simulation [41.65602738642653]
この研究は、因果推論問題として制御可能なシミュレーションを定式化する。
本研究では, 教師付き微調整による訓練シミュレータの標準的な実践が, 構造的に偏りのあるモデルをもたらすことを示す。
本稿では,事前制御,ステップワイズ動的制御,方針条件付き直接学習など,実践的なトレーニング緩和を提案する。
論文 参考訳(メタデータ) (2026-05-12T04:44:29Z) - Measuring and Mitigating the Distributional Gap Between Real and Simulated User Behaviors [61.610957638373826]
本研究では,実際のユーザ行動とシミュレーションユーザ行動の分布ギャップを計測する手法を提案する。
実会話とシミュレーション会話のデータセットが与えられた場合,本手法は各会話からユーザ行動の表現を抽出する。
ほとんどのシミュレータも同様に振る舞うが、いくつかは独立している。
論文 参考訳(メタデータ) (2026-05-08T15:09:25Z) - Do LLM-Driven Agents Exhibit Engagement Mechanisms? Controlled Tests of Information Load, Descriptive Norms, and Popularity Cues [28.621781661498545]
テストケースとしてソーシャルメディア上での情報エンゲージメントを用いて,LCMによるシミュレーションが確実にサポートできることを評価する。
Weiboのような環境では、情報負荷や記述規範を操作しつつ、人気度を内在的に進化させる。
これらの制御された変動の下では、単に可塑性トレースを生成するのではなく、理論的に解釈可能な方法でシミュレートされた振る舞いが変化するかどうかを問う。
論文 参考訳(メタデータ) (2026-03-21T18:50:22Z) - Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。
Instruct-Verify-and-Act(IVA)を提案する。
実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
論文 参考訳(メタデータ) (2025-08-22T10:54:33Z) - LLMs can learn self-restraint through iterative self-reflection [57.26854891567574]
大規模言語モデル(LLM)は、特定のトピックに関連する知識と不確実性に基づいて、その振る舞いを動的に適応できなければならない。
この適応的行動は、私たちが自己規制と呼ぶもので、教えるのは簡単ではない。
モデルが信頼している場合にのみ応答を生成できるようにするユーティリティ関数を考案する。
論文 参考訳(メタデータ) (2024-05-15T13:35:43Z) - Integrating LLMs and Decision Transformers for Language Grounded
Generative Quality-Diversity [0.0]
品質多様性(Quality-Diversity)は最適化の一分野であり、強化学習と制御ドメインの問題によく適用される。
本稿では,レパートリーをトラジェクトリの自然言語記述で拡張する大規模言語モデルを提案する。
また、このような生成エージェントの性能を評価するためのLCMベースのアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-25T10:00:06Z) - User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。
実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
論文 参考訳(メタデータ) (2023-06-05T02:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。