論文の概要: Candor-LR: A Dyadic Conversational Dataset for Audio-Visual Speech Recognition

• arxiv url: http://arxiv.org/abs/2609.10394v1
• Date: Wed, 09 Sep 2026 16:14:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.107257
• Title: Candor-LR: A Dyadic Conversational Dataset for Audio-Visual Speech Recognition
• Title（参考訳）: Candor-LR: 音声認識のための動的会話データセット
• Abstract要約: カンドールLR(Candor-LR)は、CANDORコーパスの1,656の自然なダイアドビデオ会議から派生した対話型ベンチマークである。 当社のカスタムデータ準備パイプラインでは,それぞれ713.5,10.1,60.1時間のトレーニング,検証,テストデータを取得しています。
• 参考スコア（独自算出の注目度）: 13.444822626621706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current audio-visual speech recognition (AVSR) benchmarks, like LRS3, rely heavily on clean, scripted and rehearsed speech. They fail to reflect the complexity of natural conversation, which involves overlapping speech, spontaneous turn-taking, unscripted vocabulary and variable acoustic conditions. To shift the field toward realistic dialogue, we introduce Candor-LR, a conversational benchmark derived from the CANDOR corpus of 1,656 natural dyadic videoconferences. Our custom data preparation pipeline yields 713.5, 10.1, and 60.1 hours of training, validation, and test data, respectively. Evaluating pretrained AVSR models on Candor-LR reveals that audio-only accuracy drops sharply compared to LRS3, but visual cues compensate effectively, driving much larger performance gains on Candor-LR than on LRS3. Furthermore, training on this corpus significantly improves cross-domain robustness under both clean and noisy conditions, as its realistic conversational data captures broader audio-video features. We open-source our pipeline to ensure reproducibility, establishing Candor-LR as a challenging benchmark for conversational AVSR.
• Abstract（参考訳）: LRS3のような現在の音声視覚音声認識(AVSR)ベンチマークは、クリーンでスクリプト化され、リハーサルされた音声に大きく依存している。 自然会話の複雑さは、重複する音声、自発的なターンテイク、説明されていない語彙、可変音響条件を反映していない。 そこで本研究では,CANDORコーパスから派生した1,656個の対話型ビデオ会議であるCanddor-LRを紹介する。 当社のカスタムデータ準備パイプラインでは,それぞれ713.5,10.1,60.1時間のトレーニング,検証,テストデータを取得しています。 事前訓練されたAVSRモデルをCandor-LRで評価すると、オーディオのみの精度はLSS3と比較して著しく低下するが、視覚的手がかりは効果的に補償し、Candor-LRの方がLSS3よりもはるかに大きなパフォーマンス向上をもたらす。 さらに、このコーパスのトレーニングは、クリーンかつノイズの多い条件下でのクロスドメインロバスト性を大幅に改善する。 我々は、再現性を確保するためにパイプラインをオープンソース化し、Candor-LRを会話型AVSRの挑戦的なベンチマークとして確立した。

関連論文リスト

• Enabling Streaming User Transcription in Full-Duplex Speech-to-Speech Models [54.83270723528963]
  本稿では,既存のS2Sモデルにストリーミング機能を追加する手法を提案する。 我々のアプローチでは、最小限の追加パラメータが必要であり、ベースS2Sモデルに大きな変更はない。
  論文  参考訳（メタデータ） (2026-09-14T15:44:18Z)
• AVSRBench: A Multi-Condition AVSR Benchmark [14.788453263873444]
  映像のみのパフォーマンスは,放送領域を超えて急速に低下していることがわかった。 視覚的理解は90のプロファイルビューで著しく低下する。 話者調音は、小さなカメラシフトよりも重要なものである。
  論文  参考訳（メタデータ） (2026-09-09T15:58:44Z)
• Audio2Tool: Speak, Call, Act -- A Dataset for Benchmarking Speech Tool Use [1.851890212523342]
  本稿では,スマートカー,スマートホーム,ウェアラブルの3つの主要領域にわたるSpeechLMのツールコール機能を評価するためのAudio2Toolを紹介する。 我々のベンチマークでは、単純な直接コマンドから複雑なマルチインテントやニードル・イン・ア・ヘイスタック抽出から、独立した障害モードまで、多層的な複雑性階層が特徴的である。 現状のSpeechLMとASR-LLMパイプラインの評価は、単純なコマンドでは高い性能を示すが、構成的および音響的課題では著しく低下する。
  論文  参考訳（メタデータ） (2026-04-17T16:41:25Z)
• LibriConvo: Simulating Conversations from Read Literature for ASR and Diarization [1.0251581485267474]
  話者認識型会話シミュレーション(SASC)に基づくマルチ話者対話データセットLibriConvoを紹介する。 意味的に切り離された発話に大きく依存する以前のリソースとは異なり、LibriConvoはセマンティックコヒーレンスとリアルな会話のタイミングを保証する。 データセットは、1,496の対話に830のユニークな話者を持つ240.1時間で構成され、頑健な評価のために話者の不一致な方法で分割される。
  論文  参考訳（メタデータ） (2025-10-27T13:35:22Z)
• Large Language Models are Strong Audio-Visual Speech Recognition Learners [53.142635674428874]
  マルチモーダル・大規模言語モデル(MLLM)は,近年,多モーダル理解能力の強化により,研究の焦点となっている。 本稿では,Llama-AVSRを提案する。 我々は,最大公的なAVSRベンチマークであるLSS3に対する提案手法を評価し,WERが0.79%,AVSRが0.77%であるASRとAVSRのタスクに対して,新しい最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2024-09-18T21:17:27Z)
• BRAVEn: Improving Self-Supervised Pre-training for Visual and Auditory Speech Recognition [72.51848069125822]
  本稿では,RAVEn法の拡張であるBRAVEnを提案する。 RAVEnの修正により、BRAVEnは自己教師付き手法で最先端の結果を得ることができる。 以上の結果から,手軽に手軽に利用できる音声視覚データが,コストのかかる書き起こしデータに置き換わる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-04-02T16:48:20Z)
• Lip2Vec: Efficient and Robust Visual Speech Recognition via Latent-to-Latent Visual to Audio Representation Mapping [4.271091833712731]
  従来のモデルから学習するシンプルなアプローチであるLip2Vecを提案する。 提案手法は LRS3 データセット上で26 WER を達成する完全教師付き学習法と比較した。 我々は、VSRをASRタスクとして再プログラムすることで、両者のパフォーマンスギャップを狭め、より柔軟な唇読解法を構築することができると考えている。
  論文  参考訳（メタデータ） (2023-08-11T12:59:02Z)
• Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels [100.43280310123784]
  トレーニングセットのサイズを増大させるために,未ラベルデータセットの自動書き起こしの使用について検討した。 近年の文献的傾向であるトレーニングセットのサイズが大きくなると、ノイズのある書き起こしを用いたにもかかわらずWERが減少することが実証された。 提案手法は,RS2 と LRS3 の AV-ASR 上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-25T00:37:34Z)
• Jointly Learning Visual and Auditory Speech Representations from Raw Data [108.68531445641769]
  RAVEnは視覚と聴覚の表現を協調的に学習する自己教師型マルチモーダルアプローチである。 我々の設計は、ビデオとオーディオの固有の違いによって駆動される非対称なw.r.t.である。 RAVEnは視覚音声認識における全自己指導手法を超越している。
  論文  参考訳（メタデータ） (2022-12-12T21:04:06Z)
• Semi-Supervised Spoken Language Understanding via Self-Supervised Speech and Language Model Pretraining [64.35907499990455]
  そこで本稿では,音声から意味論を直接学習するフレームワークを提案する。 我々のフレームワークは、事前訓練されたエンドツーエンド(E2E)ASRとBERTのような自己教師型言語モデルに基づいて構築されている。 並行して,SLUモデルを評価するための重要な基準として,環境騒音汚染度とE2Eセマンティクス評価の2つがあげられる。
  論文  参考訳（メタデータ） (2020-10-26T18:21:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。