論文の概要: Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities

• arxiv url: http://arxiv.org/abs/2503.04721v1
• Date: Thu, 06 Mar 2025 18:59:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 15:58:54.250001
• Title: Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities
• Title（参考訳）: Full-Duplex-Bench: ターンテイク能力に基づく全二重音声対話モデルの評価ベンチマーク
• Authors: Guan-Ting Lin, Jiachen Lian, Tingle Li, Qirui Wang, Gopala Anumanchipalli, Alexander H. Liu, Hung-yi Lee,
• Abstract要約: FullDuplexBenchは、重要な会話動作を体系的に評価するベンチマークである。 音声対話のモデリングを推進し、よりインタラクティブで自然な対話システムの開発を促進することを目的としている。
• 参考スコア（独自算出の注目度）: 93.09944267871163
• License:
• Abstract: Spoken dialogue modeling introduces unique challenges beyond text-based language modeling, demanding robust turn-taking, backchanneling, and real-time interaction. Although most Spoken Dialogue Models (SDMs) rely on half-duplex processing (handling speech one turn at a time), emerging full-duplex SDMs can listen and speak simultaneously, enabling more natural and engaging conversations. However, current evaluations of such models remain limited, often focusing on turn-based metrics or high-level corpus analyses (e.g., turn gaps, pauses). To address this gap, we present Full-Duplex-Bench, a new benchmark that systematically evaluates key conversational behaviors: pause handling, backchanneling, turn-taking, and interruption management. Our framework uses automatic metrics for consistent and reproducible assessments of SDMs' interactive performance. By offering an open and standardized evaluation benchmark, we aim to advance spoken dialogue modeling and encourage the development of more interactive and natural dialogue systems.
• Abstract（参考訳）: 音声対話モデリングは、テキストベースの言語モデリング、堅牢なターンテイク、バックチャネル、リアルタイムインタラクションといった、ユニークな課題を導入する。 多くの音声対話モデル(SDM)は、半二重処理(一度に1回ずつ処理する)に依存しているが、出現する全二重SDMは同時に聴いて話すことができ、より自然な会話を可能にしている。 しかし、そのようなモデルに対する現在の評価は限定的であり、多くの場合、ターンベースのメトリクスや高レベルのコーパス分析(例えば、ターンギャップ、一時停止)に焦点を当てている。 このギャップに対処するため、我々はFull-Duplex-Benchという、停止処理、バックチャネル、ターンテイク、割り込み管理といった主要な会話行動を体系的に評価する新しいベンチマークを提示する。 我々のフレームワークは、SDMの対話的性能の一貫性と再現性を評価するために自動メトリクスを使用する。 オープンで標準化された評価ベンチマークを提供することで、音声対話モデリングを進化させ、よりインタラクティブで自然な対話システムの開発を促進することを目指している。

関連論文リスト

• WavChat: A Survey of Spoken Dialogue Models [66.82775211793547]
  GPT-4oのようなシステムで実証された音声対話モデルの最近の進歩は、音声領域において大きな注目を集めている。 これらの高度な音声対話モデルは、音声、音楽、その他の音声関連の特徴を理解するだけでなく、音声のスタイリスティックな特徴や音節的な特徴も捉える。 音声対話システムの進歩にもかかわらず、これらのシステムを体系的に組織化し分析する包括的調査が欠如している。
  論文  参考訳（メタデータ） (2024-11-15T04:16:45Z)
• OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation [53.7173034249361]
  エンド・ツー・エンドのGPTベースモデルであるOmniFlattenは、低レイテンシで自然な会話に固有の複雑な振る舞いを効果的にモデル化することができる。 提案手法は, 簡便なモデリング手法と, より効率的かつ自然な対話システムを構築するための研究の方向性を提供する。
  論文  参考訳（メタデータ） (2024-10-23T11:58:58Z)
• Yeah, Un, Oh: Continuous and Real-time Backchannel Prediction with Fine-tuning of Voice Activity Projection [24.71649541757314]
  yeah"や"oh"といった短いバックチャネルの発話は、スムーズでエンゲージメントな対話を促進する上で重要な役割を担っている。 本稿では,微調整音声活動予測モデルを用いて,リアルタイムかつ連続的なバックチャネル予測を行う手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T11:57:56Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• Back to the Future: Bidirectional Information Decoupling Network for Multi-turn Dialogue Modeling [80.51094098799736]
  ユニバーサル対話エンコーダとして双方向情報デカップリングネットワーク(BiDeN)を提案する。 BiDeNは過去と将来の両方のコンテキストを明示的に取り入れており、幅広い対話関連のタスクに一般化することができる。 異なる下流タスクのデータセットに対する実験結果は、我々のBiDeNの普遍性と有効性を示している。
  論文  参考訳（メタデータ） (2022-04-18T03:51:46Z)
• DynaEval: Unifying Turn and Dialogue Level Evaluation [60.66883575106898]
  統合された自動評価フレームワークDynaEvalを提案する。 ターンレベルの評価を行うことができるが、対話全体の品質を公平に考慮することもできる。 実験の結果,DynaEvalは最先端の対話コヒーレンスモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-06-02T12:23:18Z)
• Neural Generation of Dialogue Response Timings [13.611050992168506]
  音声応答オフセットの分布をシミュレートするニューラルモデルを提案する。 モデルは、インクリメンタルな音声対話システムのパイプラインに統合されるように設計されている。 人間の聴取者は、対話の文脈に基づいて、特定の応答タイミングをより自然なものとみなす。
  論文  参考訳（メタデータ） (2020-05-18T23:00:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。