論文の概要: Distributional Metrics for Evaluating Spoken Conversational Systems

• arxiv url: http://arxiv.org/abs/2609.31719v1
• Date: Mon, 21 Sep 2026 16:45:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 13:25:16.479285
• Title: Distributional Metrics for Evaluating Spoken Conversational Systems
• Title（参考訳）: 音声対話システム評価のための分布指標
• Abstract要約: 本稿では,会話行動の分布を人間の会話を基準として比較するCDS(Conversational Distribution Score)を提案する。 CDSは、8つの解釈可能な特徴と別々の2つの特徴的セマンティックベースラインを通しての音声速度、音節リズム、旋回相互作用を記述している。 2つの基準尺度で会話を比較した。1つは人間の対話における会話の成功と、もう1つは人間と合成対話の対比に基づくものである。
• 参考スコア（独自算出の注目度）: 21.67660949959307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating conversational systems is a difficult and unresolved problem. We introduce the Conversational Distribution Score (CDS), which compares distributions of conversational behaviour using human conversations as a reference. CDS describes speech rate, syllabic rhythm, and turn interaction through eight interpretable features plus a separate two-feature semantic baseline. We compare conversations with two reference scales: one based on conversational success within human dialogue and another contrasting human and synthetic dialogue. Using listener judgments from out-of-domain goal--oriented dialogues, we examine system ranking, preferences between conversations, and ranking stability. Composite CDS recovers five of six listener system comparisons while individual features show strong correlation with listener preferences between conversations. We examine how many minutes and conversations are required before rankings stabilize. These findings support distributional comparisons as a complement to specific interactional metrics to evaluate conversations and conversational models while showing their interpretable value.
• Abstract（参考訳）: 会話システムの評価は困難で未解決の問題である。 本稿では,会話行動の分布を人間の会話を基準として比較するCDS(Conversational Distribution Score)を提案する。 CDSは、8つの解釈可能な特徴と別々の2つの特徴的セマンティックベースラインを通しての音声速度、音節リズム、旋回相互作用を記述している。 2つの基準尺度で会話を比較した。1つは人間の対話における会話の成功と、もう1つは人間と合成対話の対比に基づくものである。 ドメイン外目標指向対話からのリスナー判断を用いて,システムランキング,会話の嗜好,ランキング安定性について検討する。 複合CDSは、6つのリスナーシステム比較のうち5つを復元する一方、個々の特徴は会話間のリスナー嗜好と強い相関を示す。 ランキングが安定する前に、どのくらいの時間と会話が必要かを調べる。 これらの結果は,会話と会話モデルを評価するために,その解釈可能な値を示しながら,特定の対話指標を補完する分布比較を支援する。

関連論文リスト

• Computational Analysis of Conversation Dynamics through Participant Responsivity [18.116125865284666]
  応答性を定量化する手法を開発し評価する。 両手法を人間に注釈を付けた会話の真理集合に対して評価する。 次に,会話談話の様々な側面に対処するために,会話レベルの派生メトリクスを開発する。
  論文  参考訳（メタデータ） (2025-09-19T23:13:13Z)
• A Similarity Measure for Comparing Conversational Dynamics [5.0205808005027075]
  全体的なダイナミクスの観点から会話を比較するための堅牢な自動手法は存在しない。 本稿では,会話のダイナミクスを比較検討するための類似度尺度を提案する。 大規模なオンラインコミュニティにおける会話のダイナミクスの分析に利用しています。
  論文  参考訳（メタデータ） (2025-07-25T04:51:11Z)
• "How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations [87.95711406978157]
  本研究は、音声タスク指向会話における新しいベンチマークを示す。 マルチドメイン対話状態追跡と知識基底型対話モデルについて検討する。 我々のデータセットは,タスク指向対話システムの音声によるベンチマークを可能にする。
  論文  参考訳（メタデータ） (2021-09-28T04:51:04Z)
• Assessing Dialogue Systems with Distribution Distances [48.61159795472962]
  そこで本研究では,対話と実世界の会話の分散的距離を計算し,対話システムの性能を計測する。 複数の対話コーパスを用いた実験により,提案手法は既存の指標よりも人間の判断によく相関することが示された。
  論文  参考訳（メタデータ） (2021-05-06T10:30:13Z)
• Is this Dialogue Coherent? Learning from Dialogue Acts and Entities [82.44143808977209]
  スイッチボード・コヒーレンス・コーパス(SWBD-Coh)コーパス(Switchboard Coherence corpus,SWBD-Coh)を作成する。 コーパスの統計的分析は、ターンコヒーレンス知覚がエンティティの分布パターンによってどのように影響を受けるかを示している。 DA情報とエンティティ情報を組み合わせたモデルでは,応答選択とターンコヒーレンス評価の両面で最高の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2020-06-17T21:02:40Z)
• Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting [56.268862325167575]
  マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。 本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。 前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。 後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
  論文  参考訳（メタデータ） (2020-05-05T14:30:20Z)
• Dialogue-Based Relation Extraction [53.2896545819799]
  本稿では,人間による対話型関係抽出(RE)データセットDialogREを提案する。 我々は,対話型タスクと従来のREタスクの類似点と相違点の分析に基づいて,提案課題において話者関連情報が重要な役割を担っていると論じる。 実験結果から,ベストパフォーマンスモデルにおける話者認識の拡張が,標準設定と会話評価設定の両方において向上することが示された。
  論文  参考訳（メタデータ） (2020-04-17T03:51:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。