論文の概要: DecisionTraceBench: Tracking Decision-Critical Information in Multi-Party Spoken Conversations
- arxiv url: http://arxiv.org/abs/2610.34746v1
- Date: Mon, 26 Oct 2026 02:46:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.70836
- Title: DecisionTraceBench: Tracking Decision-Critical Information in Multi-Party Spoken Conversations
- Title(参考訳): DecisionTraceBench:マルチパーティ音声会話における決定臨界情報の追跡
- Abstract要約: Decision-Critical Information State Tracking (DCIST) のための言語状態追跡ベンチマークであるDecisionTraceBenchを紹介する。
トラジェクトリレベルF1を用いて、決定イベントシーケンス、話者属性、スコープ、時間的エビデンスを共同で評価し、完全なイベントチェーンリカバリを測定する。
我々のデータセットは、2~4人の話者による中国の金融対話からなり、100.39時間の合成音声と8.61時間の人為的な録音が記録される。
- 参考スコア(独自算出の注目度): 5.893688785781343
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In high-stakes domains such as finance, critical information evolves through multi-party interaction. Recovering these changes and their sources is fundamental to reliable speech understanding. Existing speech benchmarks focus on transcription, local understanding, and turn-level state prediction, leaving joint decision evolution across speakers insufficiently evaluated. We introduce DecisionTraceBench, a speech state-tracking benchmark for Decision-Critical Information State Tracking (DCIST). It jointly evaluates decision event sequences, speaker attribution, scope, and temporal evidence, using trajectory-level F1 to measure complete event-chain recovery. Our dataset comprises Chinese financial dialogues involving two to four speakers, with 100.39 hours of synthetic audio and 8.61 hours of human-performed recordings. On a fixed cohort of human-performed recordings, five cascaded systems and two direct-audio models achieve DCIST scores of 5.73% to 21.35%. Ablations with speaker-labeled reference scripts and no temporal localization requirements yield a maximum score of only 38.72%. Audio perturbation experiments further show that overall transcription error rates do not adequately reflect complete trajectory recovery. These findings reveal limitations in jointly understanding information provenance and state evolution, providing a benchmark for evaluating decision-process understanding and decision traceability in high-stakes speech applications.
- Abstract(参考訳): 金融などのハイテイクなドメインでは、クリティカルな情報は多人数のインタラクションを通じて進化する。
これらの変化とその情報源を復元することは、信頼性の高い音声理解に不可欠である。
既存の音声ベンチマークでは、書き起こし、局所的理解、ターンレベルの状態予測に重点を置いており、話者間の共同決定の進化は不十分である。
本稿では,Decision-Critical Information State Tracking (DCIST) のための音声状態追跡ベンチマークであるDecisionTraceBenchを紹介する。
トラジェクトリレベルF1を用いて、決定イベントシーケンス、話者属性、スコープ、時間的エビデンスを共同で評価し、完全なイベントチェーンリカバリを測定する。
我々のデータセットは、2~4人の話者による中国の金融対話からなり、100.39時間の合成音声と8.61時間の人為的な録音が記録される。
人間の演奏記録の固定コホートでは、5つのカスケードシステムと2つの直接オーディオモデルがDCISTスコアの5.73%から21.35%を達成している。
話者ラベル付き参照スクリプトと時間的ローカライゼーションの要求がなければ、最大スコアは38.72%である。
音声摂動実験により、全体の転写誤り率は完全な軌道回復を十分に反映していないことが示された。
これらの結果から,高精度な音声アプリケーションにおける意思決定プロセスの理解と決定トレーサビリティを評価するためのベンチマークとして,情報提示と状態の進化を共同で理解する上での限界が明らかとなった。
関連論文リスト
- CoLMbo-SV: A Grounded Language Model for Explainable Speaker Verification [54.830557377967274]
我々は,強い話者識別と構造的,音響的な比較報告を組み合わせた話者言語モデルであるtextbfCoLMbo-SVを提案する。
事前訓練された話者エンコーダを言語モデルに接続し、明示的な音響測定を提供することにより、CoLMbo-SVは、その報告で発声された証拠に対する検証を制限することなく、音声比較を検査できるようにする。
論文 参考訳(メタデータ) (2026-09-27T04:51:53Z) - Hear2Act: Benchmarking When Prosody Should Change What an Assistant Does [27.909684871924004]
本稿では,テキストと音声アシスタントの統一評価プロトコルであるHear2Actを紹介する。
我々は、転写、音声、および関心状態アクセスに基づく意思決定を評価する。
語彙的証拠が不十分な場合には韻律が重要であることを示す。
論文 参考訳(メタデータ) (2026-08-20T00:16:36Z) - ParaPairAudioBench: Paralinguistic Pairwise Audio Benchmark for LALM-as-a-Judge [30.520810407664072]
ParaPairAudioBenchは、5つのパラ言語的次元(スタイル、レート、強調、年齢、ジェンダー)にわたる5,175のオーディオペアのペアベンチマークである。
実験によると、現在のLALMの審査員は平均で32%の差で人間の判断に遅れており、厳しい校正の失敗を示している。
論文 参考訳(メタデータ) (2026-06-23T14:43:43Z) - SpeechR: A Benchmark for Speech Reasoning in Large Audio-Language Models [60.72029578488467]
SpeechRは、大規模な音声言語モデルにおける音声に対する推論を評価するための統一的なベンチマークである。
事実検索、手続き推論、規範的判断の3つの重要な側面に沿ったモデルを評価する。
11個の最先端のLALMの評価は、高い転写精度が強い推論能力に変換されないことを示している。
論文 参考訳(メタデータ) (2025-08-04T03:28:04Z) - Recent Trends in Distant Conversational Speech Recognition: A Review of CHiME-7 and 8 DASR Challenges [63.741916531380696]
CHiME-7と8つの遠隔音声認識(DASR)の課題は、多チャンネル、一般化可能、共同自動音声認識(ASR)、対話音声のダイアリゼーションである。
本稿では,参加者からの重要傾向を分析しつつ,課題の設計,評価指標,データセット,ベースラインシステムについて概説する。
論文 参考訳(メタデータ) (2025-07-24T07:56:24Z) - Audio Large Language Models Can Be Descriptive Speech Quality Evaluators [46.765203628127345]
本稿では,人間格付けから生成した最初の自然言語に基づく音声評価コーパスについて紹介する。
このコーパスは、複数の次元にわたる詳細な分析を提供し、品質劣化の原因を特定する。
生音声から関連情報を抽出するために,LLM蒸留(ALLD)を用いたアライメント手法を提案する。
論文 参考訳(メタデータ) (2025-01-27T22:47:51Z) - Decoding speech perception from non-invasive brain recordings [48.46819575538446]
非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。
我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
論文 参考訳(メタデータ) (2022-08-25T10:01:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。