論文の概要: How Reliable Are Multimodal Signals of Conversational State? Evidence from Remote Dyadic Collaborative Tasks
- arxiv url: http://arxiv.org/abs/2607.17452v1
- Date: Mon, 20 Jul 2026 00:56:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.469872
- Title: How Reliable Are Multimodal Signals of Conversational State? Evidence from Remote Dyadic Collaborative Tasks
- Title（参考訳）: 会話状態のマルチモーダル信号はどの程度信頼性が高いか : 遠隔Dyadic Collaborative Tasksからの証拠
- Abstract要約: 言語学的特徴は、認知負荷の予測精度が最も高いが、クロスタスク評価では崩壊する。
話者識別が制御されると、音響信頼性がほぼゼロに崩壊する。
相互作用機能は唯一真に信頼できる信号を提供する。
- 参考スコア（独自算出の注目度）: 5.53329677986653
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Measuring conversational states such as cognitive load and conversational power from multimodal behavior requires characteristic features that are not only predictive but also reliable across task contexts. We present a three-dimensional evaluation framework assessing predictive accuracy, cross-task generalizability, and test-retest reliability, applied to interactional, acoustic, and linguistic features extracted from dyadic conversations during collaborative tasks performed over a video-conferencing platform (AVCAffe dataset; 53 dyads, 9 tasks). Our results show that no single feature family dominates all three dimensions. Linguistic features show the highest predictive accuracy for cognitive load but collapse under cross-task evaluation, revealing sensitivity to task-specific vocabulary. Additionally, acoustic reliability, often reported as evidence of feature stability, degrades once speaker identity is controlled, confirming that standard prosodic features measure vocal characteristics rather than conversational state. Interaction features provide the only genuinely reliable signal, unchanged after speaker normalization. Interestingly, classifying power role remained near chance baseline across all conditions, indicating limitations of task-level aggregated behavior for predicting power role in conversation. Our findings reveal three insights: (1) linguistic features predict best but generalize poorly across task contexts; (2) acoustic reliability collapses to near-zero once speaker identity is controlled, challenging standard evaluation practice; and (3) interaction features provide the only genuinely reliable signal, with floor dominance predicting within-dyad cognitive load asymmetry. These results argue for speaker normalization and multi-dimensional evaluation as prerequisites for context-aware, robust multimodal feature selection in conversational systems.
- Abstract（参考訳）: 認知的負荷や多モーダル行動からの会話力などの会話状態を測定するには、予測だけでなく、タスクコンテキスト全体の信頼性も要求される。
本稿では,ビデオ会議プラットフォーム(AVCAffe データセット,53 dyads,9 タスク)上での協調作業において,対話的,音響的,言語的特徴から抽出した対話的,音響的,言語的特徴に対して,予測精度,クロスタスクの一般化性,信頼性を評価する3次元評価フレームワークを提案する。
以上の結果から,どの特徴群も3次元全てを支配していないことが明らかとなった。
言語学的特徴は、認知負荷の予測精度が最も高いが、タスク固有の語彙に対する感受性を示すクロスタスク評価の下で崩壊する。
さらに、音響的信頼性は、しばしば特徴安定性の証拠として報告され、話者識別が制御されると劣化し、標準韻律的特徴が会話状態よりも声質を測ることを確認する。
相互作用機能は、話者正規化後に変化しない、真に信頼できる唯一の信号を提供する。
興味深いことに、パワーロールの分類は、すべての条件でほぼ確実に行われており、会話におけるパワーロールの予測のためのタスクレベルの集約行動の制限が示されていた。
以上の結果から,(1)言語的特徴はタスクコンテキスト全体では最適だが,一般化が不十分である,(2)話者識別が制御されるとほぼゼロに近い音響的信頼性が崩壊する,(3)対話的特徴が唯一信頼性の高い信号を提供する,(3)床内認知負荷非対称性を予測する,という3つの知見が得られた。
これらの結果は,話者正規化と多次元評価を,会話システムにおけるコンテキスト認識,頑健なマルチモーダル特徴選択の前提条件として論じている。
関連論文リスト
- Walking Through Uncertainty: An Empirical Study of Uncertainty Estimation for Audio-Aware Large Language Models [54.041320081289996]
音声対応大言語モデル(ALLM)における不確実性推定に関する最初の系統的研究について述べる。
予測エントロピー、長さ正規化エントロピー、意味エントロピー、個別意味エントロピー、P(True)を含む5つの代表的な手法をベンチマークする。
まず、意味レベルと検証ベースの手法は、一般的な音声推論ベンチマークにおけるトークンレベルベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2026-04-28T12:56:22Z) - SpeechParaling-Bench: A Comprehensive Benchmark for Paralinguistic-Aware Speech Generation [46.48800527703154]
SpeechParaling-Benchは、パラ言語対応音声生成のための総合的なベンチマークである。
既存のカバレッジを50未満から100以上のきめ細かい機能に拡張する。
微粒化制御、発声内変動、文脈認識適応の3つの課題に分けられる。
論文 参考訳（メタデータ） (2026-04-22T17:59:58Z) - Predicting States of Understanding in Explanatory Interactions Using Cognitive Load-Related Linguistic Cues [4.351015250928505]
話者やリスナーが対話で示す言語的特徴と非言語的特徴が,聴取者の理解状態の予測にどのように寄与するかを検討する。
具体的には,認知的負荷に関連する3つの言語的手がかりについて検討し,聴取者の理解と相関して仮説を立てた。
論文 参考訳（メタデータ） (2026-03-20T15:58:54Z) - SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models [86.19617358080016]
Social Omniは、3つのコア次元にわたる対話性の評価を運用するベンチマークである。
Social Omniは2000の知覚サンプルと209の相互作用生成インスタンスの品質管理された診断セットを備えている。
本分析により,モデルの知覚的精度と,文脈的に適切な割り込みを生成する能力との間に顕著な疎結合が明らかとなった。
論文 参考訳（メタデータ） (2026-03-17T17:58:44Z) - Quantifying Conversational Reliability of Large Language Models under Multi-Turn Interaction [0.0]
大きな言語モデル(LLM)は、ユーザが拡張された混合トピックの会話を行う現実世界のアプリケーションに、ますます多くデプロイされている。
我々は,3つの代表課題を通じて,会話の信頼性を体系的に評価する。
我々は信頼性の大幅な低下、特により小さなモデルについて観察する。
論文 参考訳（メタデータ） (2026-03-02T03:59:40Z) - WavBench: Benchmarking Reasoning, Colloquialism, and Paralinguistics for End-to-End Spoken Dialogue Models [46.528618646773175]
WavBenchは、現実的な会話能力を評価するために設計されたベンチマークである。
複雑な問題解決、口語デリバリ、およびパラ言語的忠実性の共通点に関する洞察を提供する。
論文 参考訳（メタデータ） (2026-02-12T16:22:11Z) - SVeritas: Benchmark for Robust Speaker Verification under Diverse Conditions [54.34001921326444]
話者検証(SV)モデルは、セキュリティ、パーソナライゼーション、アクセス制御システムにますます統合されている。
既存のベンチマークでは、これらの条件のサブセットのみを評価しており、他は完全に欠落している。
SVeritasは、録音時間、自発性、コンテンツ、ノイズ、マイクロホン距離、残響、チャンネルミスマッチ、オーディオ帯域幅、コーデック、話者年齢、スプーフィングおよび敵攻撃に対する感受性などのストレス下でのSVシステムの評価を行う総合的な話者検証タスクベンチマークスイートである。
論文 参考訳（メタデータ） (2025-09-21T14:11:16Z) - AudioJudge: Understanding What Works in Large Audio Model Based Speech Evaluation [55.607230723223346]
本研究は,Large Audio Model (LAM) をAudioJudgeの裁判官として体系的に研究し,両課題に対処する統一評価フレームワークを提供することができるかどうかを検討する。
本稿では、発音、発話速度、話者識別、音声品質、自動ベンチマークのためのシステムレベルの人間の嗜好シミュレーションなど、音声特徴検出タスクにまたがるAudioJudgeについて検討する。
本稿では,多視点アンサンブルAudioJudgeを導入し,音声評価を語彙内容,音声品質,パラ言語特徴の専門判断者に分解し,人間の嗜好と最大0.91のスピアマン相関を達成させる手法を提案する。
論文 参考訳（メタデータ） (2025-07-17T00:39:18Z) - Paralinguistics-Enhanced Large Language Modeling of Spoken Dialogue [71.15186328127409]
パラリンGPT(Paralin GPT)
モデルは、シリアライズされたマルチタスクフレームワーク内の入力プロンプトとして、テキスト、音声埋め込み、およびパラ言語属性の会話コンテキストを取る。
音声対話データセットとして,感情ラベルをパラ言語属性として含むSwitchboard-1コーパスを利用する。
論文 参考訳（メタデータ） (2023-12-23T18:14:56Z) - Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A
Survey [71.43956423427397]
本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。
この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。
もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
論文 参考訳（メタデータ） (2022-07-20T13:37:57Z) - Meta-evaluation of Conversational Search Evaluation Metrics [15.942419892035124]
我々は様々な会話検索指標を体系的にメタ評価する。
METEORは、すべての3つの視点を考慮して、最も優れた既存のシングルターンメトリックです。
また、適応セッションベースの評価指標を使用して、マルチターン会話検索を測定することも示します。
論文 参考訳（メタデータ） (2021-04-27T20:01:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。