論文の概要: Exploring Multimodal Turn-Taking Cues in Face-to-Face Conversation using Voice Activity Projection

• arxiv url: http://arxiv.org/abs/2609.14666v1
• Date: Sun, 13 Sep 2026 17:08:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.892566
• Title: Exploring Multimodal Turn-Taking Cues in Face-to-Face Conversation using Voice Activity Projection
• Title（参考訳）: 音声活動投影を用いた対面会話におけるマルチモーダル・ターン・テイキングキューの探索
• Abstract要約: 本稿では,対面会話の視覚的特徴がターンテイク予測を促進できるかどうかを検討する。 視覚的特徴としては、視線方向、頭部運動、体と手のポーズ、顔アクションユニット(FAU)がある。 その結果,視覚情報は音声のみのベースラインよりも性能が向上し,他の特徴群よりも有意な情報が得られることがわかった。
• 参考スコア（独自算出の注目度）: 11.660109871622367
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Turn-taking is a fundamental component of spoken interaction, and while humans naturally rely on both verbal and non-verbal signals, dialogue systems usually depend on audio cues alone. This paper investigates whether visual features from face-to-face conversations can enhance turn-taking prediction beyond what is achievable from audio-only. We extend the Voice Activity Projection (VAP) model, a self-supervised transformer-based model for predicting future voice activity, by incorporating visual features extracted from the large-scale Meta Seamless Interaction dataset of dyadic face-to-face conversations. The visual features include gaze direction, head movement, body and hand pose, and facial action units (FAU). For incorporating the visual features, we explore concatenation, cross-attention fusion, delta features, and trainable gating mechanisms. Results show that visual information improves performance over the audio-only baseline, with FAU being significantly more informative than other feature groups. Body and gaze features nevertheless contribute complementary information, as the model combining all features performs best. Furthermore, results indicate that performance on specific tasks varies depending on whether training and test data come from improvised (acted) or naturalistic (non-acted) conversations.
• Abstract（参考訳）: ターンテイクは音声対話の基本的な構成要素であり、人間が自然に言語信号と非言語信号の両方に依存しているのに対して、対話システムは通常、オーディオキューのみに依存している。 本稿では, 対面会話による視覚的特徴が, 音声のみから達成可能な範囲を超えて, ターンテイク予測を促進できるかどうかを考察する。 本稿では,対話型対話の大規模Meta Seamless Interactionデータセットから抽出した視覚的特徴を組み込むことにより,将来音声活動を予測する自己教師型トランスフォーマーベースモデルであるVAPモデルを拡張する。 視覚的特徴としては、視線方向、頭部の動き、体と手のポーズ、顔のアクション・ユニット(FAU)がある。 視覚的特徴を取り入れるために、結合、横断融合、デルタ特徴、トレーニング可能なゲーティング機構について検討する。 その結果,視覚情報は音声のみのベースラインよりも性能が向上し,FAUは他の特徴群よりも有意に情報量が多いことがわかった。 身体と視線の特徴は相補的な情報に寄与する。 さらに,特定のタスクのパフォーマンスは,即興的な(実行された)会話や自然主義的な(実行されていない)会話から得られるデータやテストデータによって異なることが示唆された。

関連論文リスト

• Predicting Turn-Taking Outcomes in Multi-Party Conversation: Interpretable Modelling of Speech and Gaze Dynamics with Interpersonal Closeness [1.302669708492884]
  本研究は、対人親近感とともに、自由な4対人対話における会話床の変化を、視線と音声がどう変化するかをモデル化する。 GaMMAコーパスを用いて,各ターンテイクイベント前に抽出した解釈可能な行動動機付き特徴を用いて,ロジスティック回帰モデルを訓練した。 その結果、視線特徴は予測構造を捉え、それらを大声で組み合わせることで性能が向上した。
  論文  参考訳（メタデータ） (2026-08-28T06:57:54Z)
• Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis [36.79172273160707]
  表情は、感情的音声相互作用に不可欠な微妙で豊かな感情的手がかりを符号化する。 大規模な言語モデルバックボーン上に構築された顔表現対応CSSフレームワークであるFacialTalkerを提案する。 我々は、実世界のインターネット会話から完全に自動化されたパイプラインを通して収集された大規模なマルチモーダル対話データセットであるVSDD-1Kを構築した。
  論文  参考訳（メタデータ） (2026-07-27T13:42:37Z)
• Conversational Human Audio-visual Talking Dialogue Generation [50.95039085506777]
  対話型対話型対話フレームワークCHATを提案する。 Chatは大きな言語モデルと対話型音声および顔行動改善モジュールで会話型顔モデルを統合する。 実験の結果,CHATは主観的評価と主観的評価の両方において,類似タスク用に設計された既存の関連手法よりも優れていた。
  論文  参考訳（メタデータ） (2026-07-02T22:17:55Z)
• TAVID: Text-Driven Audio-Visual Interactive Dialogue Generation [72.46711449668814]
  本稿では,対話型顔と会話型音声の両方を同期的に生成する統合フレームワークであるTAVIDを紹介する。 本システムの評価は, 顔のリアリズム, 頭部の応答性, ダイアディック相互作用, 音声品質の4つの側面にまたがる。
  論文  参考訳（メタデータ） (2025-12-23T12:04:23Z)
• Visual Cues Enhance Predictive Turn-Taking for Two-Party Human Interaction [12.424261968512385]
  予測的ターンテイクモデル(PTTM)は、自然主義的な人間とロボットの相互作用を促進するが、ほとんどは音声にのみ依存する。 本稿では,マルチモーダルPTTMであるMM-VAPを紹介する。 ビデオ会議のインタラクションにおいて、最先端のオーディオオンリー(ホールド/シフト予測精度が84%に対して79%)を上回っていることが判明した。
  論文  参考訳（メタデータ） (2025-05-27T11:24:38Z)
• Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues [80.53407593586411]
  頑健な音声音声強調(AVSE)のための唇領域を超えて顔の手がかりを活用することに注力する。 本稿では,音声関連情報を無視し,音声関連情報を顔の手がかりで捉え,AVSEの音声信号と動的に統合するDual Attention Cooperative Framework(DualAVSE)を提案する。
  論文  参考訳（メタデータ） (2023-11-24T04:30:31Z)
• Visual-Aware Text-to-Speech [101.89332968344102]
  テキスト入力と対面コミュニケーションにおけるリスナーの視覚的フィードバックの両方で条件付き音声を合成する新しい視覚認識型音声合成(VA-TTS)タスクを提案する。 音声合成のための音素言語情報とリスナー視覚信号を融合するベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:11:39Z)
• Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
  本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。 我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。 本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
  論文  参考訳（メタデータ） (2022-04-18T17:58:04Z)
• An Overview of Deep-Learning-Based Audio-Visual Speech Enhancement and Separation [57.68765353264689]
  音声強調と音声分離は関連する2つの課題である。 伝統的に、これらのタスクは信号処理と機械学習技術を使って取り組まれてきた。 ディープラーニングは強力なパフォーマンスを達成するために利用されています。
  論文  参考訳（メタデータ） (2020-08-21T17:24:09Z)
• Let's Face It: Probabilistic Multi-modal Interlocutor-aware Generation of Facial Gestures in Dyadic Settings [11.741529272872219]
  より自然な対面インタラクションを可能にするために、会話エージェントは、彼らの振る舞いをインターロケータに適応させる必要がある。 既存のジェスチャ生成システムの多くは、非言語的振る舞いを合成する際に、インターロカタからのマルチモーダルキューを使用しない。 本稿では,対話における顔のジェスチャーを対話的に合成する確率的手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T14:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。