論文の概要: Predicting Turn-Taking Outcomes in Multi-Party Conversation: Interpretable Modelling of Speech and Gaze Dynamics with Interpersonal Closeness
- arxiv url: http://arxiv.org/abs/2608.27988v1
- Date: Fri, 28 Aug 2026 06:57:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.231275
- Title: Predicting Turn-Taking Outcomes in Multi-Party Conversation: Interpretable Modelling of Speech and Gaze Dynamics with Interpersonal Closeness
- Title（参考訳）: 多人数会話におけるターンテイキング結果の予測:対人親和性を考慮した音声・視線ダイナミクスの解釈可能なモデリング
- Abstract要約: 本研究は、対人親近感とともに、自由な4対人対話における会話床の変化を、視線と音声がどう変化するかをモデル化する。
GaMMAコーパスを用いて,各ターンテイクイベント前に抽出した解釈可能な行動動機付き特徴を用いて,ロジスティック回帰モデルを訓練した。
その結果、視線特徴は予測構造を捉え、それらを大声で組み合わせることで性能が向上した。
- 参考スコア（独自算出の注目度）: 1.302669708492884
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Smooth speaker transitions are fundamental to effective conversation and rely on an interlocutor's ability to predict when to enter the conversation. This ability depends on accurately interpreting and expressing the verbal and non-verbal cues that signal when a speaker wishes to take or relinquish the floor. The process becomes even more complex in noisy, natural, multi-party settings, with multiple interlocutors available. This study models how gaze and speech, together with perceived interpersonal closeness, signal conversational floor changes in free four-person dialogue. Using the GaMMA corpus, we trained logistic regression models using interpretable, behaviourally motivated features extracted before each turn-taking event to classify floor-transfer outcomes as gaps or overlaps. Predictors included gaze features such as transition motifs and behavioural contrasts, entropy, gaze-based addressee identity, and mutual gaze, alongside speech features derived from speaker loudness, as well as perceived interpersonal closeness (IOS) between speakers. Results show that gaze features capture predictive structure, and that combining them with loudness improves performance (ROC AUC = 0.76 +- 0.04). Loudness reflected speaker control, while gaze dispersion and addressing indexed listener readiness and competitive entry. Performance remained robust across noise conditions, indicating that gaze provides a complementary, noise-resilient cue to turn-taking dynamics.
- Abstract（参考訳）: スムース話者遷移は効果的な会話の基本であり、いつ会話に入るかを予測するインターロケータの能力に依存している。
この能力は、話者が床を奪ったり放棄したりしたときの、言葉や非言語的な手がかりを正確に解釈し、表現することに依存する。
このプロセスは、ノイズの多い、自然な、複数パーティの設定でさらに複雑になり、複数のインターロケータが利用可能になる。
本研究は、対人親近感とともに、自由な4対人対話における会話床の変化を、視線と音声がどう変化するかをモデル化する。
GaMMAコーパスを用いて、各ターンテイクイベント前に抽出した解釈可能な行動動機付き特徴を用いてロジスティック回帰モデルを訓練し、フロア・トランスファーの結果をギャップやオーバーラップとして分類した。
予測者は、移動モチーフや行動コントラスト、エントロピー、視線に基づくアドレナリアイデンティティ、相互視線といった視線特徴や、話者間の対人親密性(IOS)などの音声特徴も含んでいた。
その結果、視線特徴は予測構造を捉え、それらを大音量と組み合わせることで性能が向上する(ROC AUC = 0.76 +- 0.04)。
ラウドネスは話者制御を反映し、視線分散とインデックス付きリスナーの即応性と競争的参入に対処する。
性能はノイズ条件を越えて頑健であり、視線はターンテイキングのダイナミックスに相補的で耐雑音性のあるキューを提供することを示している。
関連論文リスト
- Exploring Multimodal Turn-Taking Cues in Face-to-Face Conversation using Voice Activity Projection [11.660109871622367]
本稿では,対面会話の視覚的特徴がターンテイク予測を促進できるかどうかを検討する。
視覚的特徴としては、視線方向、頭部運動、体と手のポーズ、顔アクションユニット(FAU)がある。
その結果,視覚情報は音声のみのベースラインよりも性能が向上し,他の特徴群よりも有意な情報が得られることがわかった。
論文 参考訳（メタデータ） (2026-09-13T17:08:38Z) - Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis [36.79172273160707]
表情は、感情的音声相互作用に不可欠な微妙で豊かな感情的手がかりを符号化する。
大規模な言語モデルバックボーン上に構築された顔表現対応CSSフレームワークであるFacialTalkerを提案する。
我々は、実世界のインターネット会話から完全に自動化されたパイプラインを通して収集された大規模なマルチモーダル対話データセットであるVSDD-1Kを構築した。
論文 参考訳（メタデータ） (2026-07-27T13:42:37Z) - Acoustic and Facial Markers of Perceived Conversational Success in Spontaneous Speech [0.0]
本研究では,対話のダイナミクスが対話の質とどのように関連しているかを調べるために,自発的なZoom会話の大規模コーパスを分析した。
その結果, 自発音声で確実に検出され, 高い評価が得られた。
論文 参考訳（メタデータ） (2026-03-03T19:11:38Z) - Covo-Audio Technical Report [61.09708870154148]
7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。
対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
論文 参考訳（メタデータ） (2026-02-10T14:31:11Z) - TAVID: Text-Driven Audio-Visual Interactive Dialogue Generation [72.46711449668814]
本稿では,対話型顔と会話型音声の両方を同期的に生成する統合フレームワークであるTAVIDを紹介する。
本システムの評価は, 顔のリアリズム, 頭部の応答性, ダイアディック相互作用, 音声品質の4つの側面にまたがる。
論文 参考訳（メタデータ） (2025-12-23T12:04:23Z) - Lost in Phonation: Voice Quality Variation as an Evaluation Dimension for Speech Foundation Models [22.710371114925763]
音声基礎モデル(SFM)は、中間テキスト表現をバイパスし、生音声から音声言語の直接処理を可能にする。
この能力により、SFMは入力音声信号に埋め込まれた豊富なパラ言語的バリエーションに露出し、潜在的に応答することができる。
本研究では,音質の合成を特徴とする新たな並列データセットを提案する。
論文 参考訳（メタデータ） (2025-10-29T14:44:44Z) - Chronological Thinking in Full-Duplex Spoken Dialogue Language Models [66.84843878538207]
時系列思考は、完全なSDLMの応答品質を改善することを目的としている。
追加のレイテンシがない: ユーザが話すのをやめると、エージェントは考えるのをやめ、それ以上の遅延なしに話し始める。
結果: 客観的指標と人的評価の両面から, 時系列思考の有効性を示す実験を行った。
論文 参考訳（メタデータ） (2025-10-02T10:28:11Z) - MultiVox: A Benchmark for Evaluating Voice Assistants for Multimodal Interactions [70.93364531054273]
音声と視覚を融合させる音声アシスタントの能力を評価する最初のベンチマークであるMultiVoxを紹介する。
具体的には、MultiVoxには、多種多様なパラ言語的特徴を包含する1000の人間の注釈付き音声対話が含まれている。
10の最先端モデルに対する我々の評価は、人間はこれらのタスクに長けているが、現在のモデルは、常に文脈的に接地された応答を生成するのに苦労していることを示している。
論文 参考訳（メタデータ） (2025-07-14T23:20:42Z) - Aligning Spoken Dialogue Models from User Interactions [55.192134724622235]
本稿では,ユーザの対話からリアルタイム会話における音声対話モデルを改善するための新しい嗜好アライメントフレームワークを提案する。
AIフィードバックを付加した生のマルチターン音声会話から15万以上の好みペアのデータセットを作成する。
本研究は, 自然なリアルタイム音声対話システムにおいて重要な, 様々な力学におけるバランスの整合性の重要性を浮き彫りにした。
論文 参考訳（メタデータ） (2025-06-26T16:45:20Z) - Dyadic Interaction Modeling for Social Behavior Generation [6.626277726145613]
ダイアディックインタラクションにおける3次元顔の動きを効果的に生成するための枠組みを提案する。
私たちのフレームワークの中心は、事前トレーニングアプローチであるDydic Interaction Modeling(DIM)です。
実験は、リスナー動作の生成において、我々のフレームワークが優れていることを示す。
論文 参考訳（メタデータ） (2024-03-14T03:21:33Z) - Emotional Listener Portrait: Realistic Listener Motion Simulation in
Conversation [50.35367785674921]
リスナーヘッドジェネレーションは、話者から提供される情報を参照して、リスナーの非言語行動を生成することに集中する。
このような反応を生成する上で重要な課題は、会話中のきめ細かい表情の非決定論的性質である。
本稿では,複数の個別な動きコーパスの合成として,各顔の動きを微粒化処理する情緒的リスナー・ポートレート(ELP)を提案する。
ELPモデルは,学習分布からのサンプリングにより,与えられた話者に対する自然な,多様な応答を自動的に生成するだけでなく,所定の姿勢で制御可能な応答を生成することができる。
論文 参考訳（メタデータ） (2023-09-29T18:18:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。