論文の概要: An automated pipeline for standardised speech-unit annotation in spontaneous dialogue
- arxiv url: http://arxiv.org/abs/2610.03078v1
- Date: Fri, 02 Oct 2026 10:00:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.314091
- Title: An automated pipeline for standardised speech-unit annotation in spontaneous dialogue
- Title(参考訳): 対話における音声単位アノテーションの標準化のための自動パイプライン
- Abstract要約: 本稿では,自発性対話の個別チャンネル記録からターンとバックチャネルを抽出する自動パイプラインを提案する。
このパイプラインは、音声活動の検出、チャネルエネルギーフィルタリング、時間的マージ、自動音声認識、コンテキストベースの後処理を組み合わせる。
セグメントレベルの検出信頼性と時間境界誤差を用いて, 99分間のデンマーク語会話におけるパイプラインの評価を行った。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Quantifying conversational dynamics requires reliable identification of interactional units and their temporal boundaries, but speech activity alone does not distinguish conversational turns from listener feedback or within-turn pauses. We present an automated pipeline for extracting turns and backchannels from separate-channel recordings of spontaneous dyadic conversation, designed to provide a consistent first-pass annotation for subsequent human review. The pipeline combines voice activity detection, channel-energy filtering, temporal merging, automatic speech recognition, and context-based post-processing. We evaluated the pipeline on 99 ten-minute Danish conversations from 33 dyads using segment-level detection reliability and temporal boundary error. Conversations were recorded under both normal and asymmetric listening conditions. In the latter, speech-shaped noise was delivered to one participant through bone-conduction headphones. Overall detection reliability was F1=0.621, with similar performance for turns F1=0.624 and backchannels F1=0.618. For successfully matched segments, median absolute onset and offset errors were 0.150 and 0.160s for turns and 0.130 and 0.180s for backchannels, respectively. Mean errors were substantially larger for turn boundaries, indicating a smaller number of large boundary mismatches. Performance did not differ significantly across the two experimental listening conditions. In a four-conversation case study, pipeline-human agreement was lower and more variable than human inter-annotator agreement and varied across parameter settings. These results support the pipeline as an automated first pass within a semi-automated annotation workflow, providing a consistent basis for more standardised and reproducible annotation of conversational dynamics.
- Abstract(参考訳): 会話力学の定量化には、対話単位とその時間的境界の信頼性が要求されるが、音声活動だけではリスナーのフィードバックやターン内停止と会話のターンを区別しない。
そこで本研究では,自律的対話の個別チャンネル記録からターンとバックチャネルを抽出するパイプラインを提案する。
このパイプラインは、音声活動の検出、チャネルエネルギーフィルタリング、時間的マージ、自動音声認識、コンテキストベースの後処理を組み合わせる。
セグメントレベルの検出信頼性と時間境界誤差を用いて, 99分間のデンマーク語会話におけるパイプラインの評価を行った。
会話は正常聴取条件と非対称聴取条件の両方で記録された。
後者では, 骨伝導型ヘッドホンを用いて, 音声形状の雑音を被験者に伝達した。
全体的な検出信頼性はF1=0.621であり、ターンF1=0.624とバックチャネルF1=0.618に類似している。
一致したセグメントでは、中央値の絶対オンセットとオフセットの誤差はそれぞれ0.150と0.160であり、バックチャネルでは0.130と0.180であった。
平均誤差はターンバウンダリに対して著しく大きく、大きなバウンダリミスマッチの数が少ないことを示している。
2つの実験聴取条件において, 性能は有意差は認められなかった。
4つの会話ケーススタディにおいて、パイプライン・ヒューマン・アグリーメントは、人間間のアノテータ・アグリーメントよりも低く変動し、パラメータ・セッティングによって異なる。
これらの結果は、半自動化されたアノテーションワークフロー内での自動化ファーストパスとしてパイプラインをサポートし、会話力学のより標準化され再現可能なアノテーションの一貫性のある基盤を提供する。
関連論文リスト
- A Harness for Synthesizing Diverse Naturalistic Full-Duplex Conversations [17.048567633179037]
本稿では,リレーショナルイベントリストから意図抽出2チャンネル会話音声を合成するためのパイプラインを提案する。
イベントは独立して合成され、ソーステキストと一致し、共有クロック上に置かれ、ターンテイキングランドマークが測定される。
パイプラインは英語とマンダリンの8つの家族の42をカバーしている。
論文 参考訳(メタデータ) (2026-09-23T21:38:54Z) - FD-VAD: Semantic Endpoint Detection for Streaming Full-Duplex Speech [67.07361089429757]
本稿では、ストリーミングオーディオから直接因果音声ウィンドウを定式化するストリーミングエンドポイントFD-VADを提案する。
FD-VADは、TurnBench dev set 0.853$ (FP=0.10) のゼロショット設定で、最も高いEOTリコールを達成している。
これらの結果から,中間的なASRや対話状態のトラッキングを必要とせずに,ストリーミングオーディオから直接セマンティックエンドポイントを実行することができることがわかった。
論文 参考訳(メタデータ) (2026-09-16T20:35:46Z) - Zero-Shot Temporal Localisation of Audio Deepfakes in Multi-Speaker Conversations [4.152774504513197]
トレーニングフリーの5段階パイプラインは凍結されたバイナリ検出器をラップし、再トレーニングなしでセグメントレベルの出力を追加する。
ASVspoof 5からの180の複数話者会話では、強いバックボーンを持つ時間交叉対結合0.90、時間検出率0.95、MS-DCF0.26が達成された。
実際の発話における偽アラームレートは6%未満であり、真のマルチ話者対話(AMI)では2%以下である。
同一のパイプラインの下では、訓練されたローカライザが時間IoUを約0.04改善し、監督を継続するコストを抑える。
論文 参考訳(メタデータ) (2026-09-09T11:27:26Z) - ConversationalVoice: Full-Duplex Speech Data from Real Conversations through Source-Faithful Reconstruction and Conversation-Grounded Expansion [5.90805749495021]
完全な音声モデルは訓練を必要とするが、ノイズの多い現実世界の録音では、話者間で信号が絡み合っている。
安定な話者行動を持つパイプライントラックを提示し、データ特性のみを評価する。
フル-3.2%のモデルトレーニングで 下流での上昇は 今後も続く。
論文 参考訳(メタデータ) (2026-09-08T02:28:43Z) - TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue [79.83228182492354]
自然な会話の話し手は、話と聞き取りを交互に行い、いつ床をつかむか、保持するか、または譲るかをリアルタイムで決める。
そこで本研究では,30時間の人的会話を手作業でラベル付けしたコーパスを,エンド・オブ・ターンと割り込み検出のための標準評価プロトコルと組み合わせたベンチマークTurnBenchを提案する。
一方、割り込み偽陽性は強く型依存的であり、バックチャネル・デンス相互作用スタイルに集中している。
論文 参考訳(メタデータ) (2026-08-25T23:14:36Z) - Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering [87.43777061308658]
フル音声言語モデル(FDSLM)における予測行動の解析
FDSLMは、モデル出力生成に整合した生成状態と、ユーザ入力に整合した知覚状態の2つの状態間の内部焦点を動的に変調する。
ユーザ中断中は、モデルが知覚状態に遷移する前に生成状態に対して過渡的に偏りを保ち、入力の開始を逃す。
論文 参考訳(メタデータ) (2026-06-09T19:08:07Z) - Audio MultiChallenge: A Multi-Turn Evaluation of Spoken Dialogue Systems on Natural Human Interaction [12.216811577733125]
本稿では,E2E音声対話システムを評価するためのオープンソースのベンチマークであるAudio MultiChallengeを紹介する。
そこで我々は,中発音声の補聴とバックトラックに対する頑健さを検査する新軸音声編集手法を提案する。
47の話者と1,712のインスタンス固有のルーリックとの452の会話を、オーディオネイティブエージェントとヒューマンインザループパイプラインのハイブリッドを通じてキュレートする。
論文 参考訳(メタデータ) (2025-12-16T19:26:44Z) - Continuous Speech Separation with Conformer [60.938212082732775]
分離システムでは、リカレントニューラルネットワークの代わりにトランスとコンバータを用いる。
我々は,自己注意に基づく方法でグローバルな情報を取得することが,音声分離に不可欠であると信じている。
論文 参考訳(メタデータ) (2020-08-13T09:36:05Z) - Continuous speech separation: dataset and analysis [52.10378896407332]
自然な会話では、音声信号は連続的であり、重複成分と重複成分の両方を含む。
本稿では,連続音声分離アルゴリズムを評価するためのデータセットとプロトコルについて述べる。
論文 参考訳(メタデータ) (2020-01-30T18:01:31Z) - Temporal-Spatial Neural Filter: Direction Informed End-to-End
Multi-channel Target Speech Separation [66.46123655365113]
ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。
主な課題は、複雑な音響環境とリアルタイム処理の要件である。
複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
論文 参考訳(メタデータ) (2020-01-02T11:12:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。