論文の概要: From Speech to Interaction: Analyzing Multimodal Systems in Cocktail-Party Scenarios

• arxiv url: http://arxiv.org/abs/2608.08510v1
• Date: Sun, 09 Aug 2026 06:11:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.846663
• Title: From Speech to Interaction: Analyzing Multimodal Systems in Cocktail-Party Scenarios
• Title（参考訳）: 音声から対話へ:コクテル・パーティシナリオにおけるマルチモーダルシステムの解析
• Abstract要約: 人間は、近くの会話から競合するスピーチをフィルタリングしながら、個々の話者に選択的に出席する能力を持つ。 この「カクテルパーティー」のシナリオは、音声認識システムに深刻な課題を呈している。 CHiME-9 MCoRecタスクは、システムが話者のグループを認識し、各会話を音声視覚入力から書き起こさなければならないテストベッドを提供する。
• 参考スコア（独自算出の注目度）: 68.14493981116665
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Humans have the remarkable ability to engage in spontaneous informal conversations and selectively attend to individual speakers while filtering out competing speech from nearby conversations. This "cocktail party" scenario still presents severe challenges to speech recognition systems. The CHiME-9 MCoRec task provides a testbed where systems must recognize groups of speakers and transcribe each of their conversations from audio-visual input. In this work, we analyze a diverse set of systems, representing different design directions for addressing the cocktail-party scenario, where the best system achieves up to 57% relative error reduction. We identify three main strategies: (1) explicit or implicit audio-visual target speech separation, (2) improved audio-visual speech recognition for each target speaker, and (3) the use of large language models to group speakers into conversations and enhance conversational consistency. Our analysis shows that these directions address complementary failure modes of the cocktail-party problem, and that high speech overlap alone does not explain performance differences, challenging the common assumption that overlap is the primary source of difficulty in cocktail-party recognition.
• Abstract（参考訳）: 人間は、自発的な非公式な会話に従事し、近くの会話から競合するスピーチをフィルタリングしながら、個別の話者に選択的に出席する驚くべき能力を持っている。 この「カクテルパーティー」のシナリオは、音声認識システムに深刻な課題を呈している。 CHiME-9 MCoRecタスクは、システムが話者のグループを認識し、各会話を音声視覚入力から書き起こさなければならないテストベッドを提供する。 本研究では,最適システムが最大57%の相対誤差削減を達成するカクテルパーティーのシナリオに対処するための,さまざまな設計方向を表す多様なシステム群を解析する。 提案手法は,(1)暗黙的・暗黙的な音声・視覚的ターゲット音声分離,(2)ターゲット話者ごとの音声・視覚的音声認識の改善,(3)話者をグループ化して会話の整合性を高めるための大規模言語モデルの利用,の3つの戦略である。 分析の結果、これらの方向はカクテルパーティー問題の相補的障害モードに対応しており、高い音声重複だけでは性能の違いを説明できないことが示され、重複がカクテルパーティー認識の難易度の主要な原因であるという一般的な仮定に疑問が呈される。

関連論文リスト

• A Cocktail-Party Benchmark: Multi-Modal dataset and Comparative Evaluation Results [62.01871490859886]
  第9回CHiMEチャレンジにおいて,マルチモーダルコンテキスト認識(MCoRec)の課題を紹介した。 MCoRecは、録音が説明のない、カジュアルなグループチャットに集中する、自然なマルチパーティの会話をキャプチャする。 このタスクでは、各話者のスピーチを共同で翻訳し、音声・視覚録音から各話者の会話にまとめることにより、「誰がいつ、何、誰と話をするのか?」という質問に答えるシステムが必要である。
  論文  参考訳（メタデータ） (2025-10-27T12:36:43Z)
• Towards Inclusive Communication: A Unified Framework for Generating Spoken Language from Sign, Lip, and Audio [52.859261069569165]
  音声テキスト生成のための手話,唇の動き,音声の多様な組み合わせを扱える最初の統一フレームワークを提案する。 i)不均一な入力を効果的に処理できる統一されたモダリティ非依存アーキテクチャの設計、(ii)モダリティ間の過小評価された相乗効果の探索、特に手話理解における非手動的手がかりとしての唇運動の役割、(iii)個々のタスクに特化した最先端モデルと同等以上のパフォーマンスを達成すること、の3つの目的に焦点をあてる。
  論文  参考訳（メタデータ） (2025-08-28T06:51:42Z)
• Empowering Whisper as a Joint Multi-Talker and Target-Talker Speech Recognition System [73.34663391495616]
  本稿では,複数話者と目標話者の音声認識タスクを併用する先駆的手法を提案する。 具体的には、Whisperを凍結し、Sidecarセパレータをエンコーダに差し込み、複数の話者に対する混合埋め込みを分離する。 AishellMix Mandarin データセット上で,マルチストーカー ASR 上で許容できるゼロショット性能を提供する。
  論文  参考訳（メタデータ） (2024-07-13T09:28:24Z)
• The timing bottleneck: Why timing and overlap are mission-critical for conversational user interfaces, speech recognition and dialogue systems [0.11470070927586018]
  対話型および多言語対応のための5つの主要な商用ASRシステムの評価を行った。 6言語での自然な会話データに対する単語誤り率の差は小さく、重複は依然として重要な課題である。 本研究は,対話型音声技術の構築に最も注意を要する現象を同定し,会話型ASRの現状の評価,多次元誤り解析と評価に寄与することを支援する。
  論文  参考訳（メタデータ） (2023-07-28T11:38:05Z)
• Exploring Speaker-Related Information in Spoken Language Understanding for Better Speaker Diarization [7.673971221635779]
  多人数会議におけるセマンティックコンテンツから話者関連情報を抽出する手法を提案する。 AISHELL-4とAliMeetingの2つのデータセットを用いた実験により,本手法は音響のみの話者ダイアリゼーションシステムよりも一貫した改善を実現することが示された。
  論文  参考訳（メタデータ） (2023-05-22T11:14:19Z)
• Audio-visual multi-channel speech separation, dereverberation and recognition [70.34433820322323]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 音声を用いた場合の視覚的モダリティの利点は、2つのニューラルデバーベレーションアプローチでのみ示される。 LRS2データセットを用いて行った実験から,提案手法がベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T04:16:03Z)
• Enhanced Speaker-aware Multi-party Multi-turn Dialogue Comprehension [43.352833140317486]
  マルチパーティ・マルチターン・ダイアログの理解は前例のない課題をもたらす。 既存のほとんどのメソッドは、会話コンテキストをプレーンテキストとして扱う。 マスキングアテンションと異種グラフネットワークを用いた話者認識モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-09T07:12:22Z)
• A Real-time Speaker Diarization System Based on Spatial Spectrum [14.189768987932364]
  本稿では,話者ダイアリゼーションタスクにおける長年の課題に対処するための,新しい体系的アプローチを提案する。 まず, 指向性指向性マイクロホンアレイを用いたアプローチを用いて, 遠距離環境下でターゲット話者の声を捕捉する。 第2に,話者位置追跡のためのオンライン話者位置連成クラスタリング手法を提案する。 第3に、重複した音声を分離するメカニズムをトリガーするインスタント話者数検出器を開発する。
  論文  参考訳（メタデータ） (2021-07-20T08:25:23Z)
• Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue [76.88174667929665]
  マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。 既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。 本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-14T15:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。