論文の概要: Multimodal Voice Activity Projection for Turn-Taking in Social Robots with Voice-Activity-Related Pretrained Encoders
- arxiv url: http://arxiv.org/abs/2607.07294v1
- Date: Wed, 08 Jul 2026 11:34:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.362493
- Title: Multimodal Voice Activity Projection for Turn-Taking in Social Robots with Voice-Activity-Related Pretrained Encoders
- Title（参考訳）: 音声活動関連事前学習エンコーダを用いた社会ロボットのターンタイキングのためのマルチモーダル音声活動予測
- Abstract要約: ターンテイク予測は、人間と人間の相互作用に関わる社会ロボットにとって重要な要件である。
本研究は,音声のみのVAPを拡張するマルチモーダル音声活動投影フレームワークを提案する。
提案手法は、もともと音声関連タスクに最適化された事前訓練されたオーディオ視覚バックボーンに基づいて構築される。
- 参考スコア（独自算出の注目度）: 5.677986854981345
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Turn-taking prediction is a key requirement for social robots involved in human-human interaction, particularly in mediator settings, where the robot must anticipate conversational dynamics rather than merely react to pauses. This work presents a Multimodal Voice Activity Projection (MM-VAP) framework that extends the original audio-only VAP formulation to synchronized audio-visual inputs while preserving its self-supervised future-projection objective. The proposed approach builds on pretrained audio-visual backbones originally optimized for speech-related tasks and adapts them through Low-Rank Adaptation to the multimodal turn-taking problem. After independent speaker encoding, an inter-speaker attention stage models the relational dynamics required to project future voice activity. In addition, a semantic consistency loss is introduced to regularize the 256-state output space according to higher-level dialogue activity patterns. Experiments on NoXi and NoXi+J showed improvements over the current baselines, particularly for some turn-taking events. Additional evaluation on the Haru EDR corpus further supported the suitability of this direction for mediation-oriented human-robot interaction.
- Abstract（参考訳）: ターンテイク予測は、人間と人間の相互作用に関わる社会ロボットにとって重要な要件であり、特にメディエーターの設定では、ロボットは単に一時停止に反応するのではなく、会話のダイナミクスを予測しなければならない。
本研究は,従来の音声のみのVAP定式化を拡張したMM-VAP(Multimodal Voice Activity Projection)フレームワークを提案する。
提案手法は、もともと音声関連タスクに最適化された事前学習された音声視覚バックボーンに基づいており、マルチモーダルなターンテイク問題へのローランド適応を通じて適応する。
独立話者符号化の後、話者間注目ステージは、将来の音声活動の予測に必要な関係力学をモデル化する。
さらに、高レベルな対話行動パターンに従って256状態の出力空間を正規化するために、意味整合性損失を導入する。
NoXiとNoXi+Jの実験では、特にいくつかのターンテイクイベントにおいて、現在のベースラインよりも改善が見られた。
ハルEDRコーパスのさらなる評価は、メディエーション指向の人間とロボットの相互作用に対するこの方向の適合性をさらに支持した。
関連論文リスト
- MuVAP: Multimodal Multiparty Voice Activity Projection for Turn-taking Prediction in the Wild [9.226832581510598]
顔のトラックに音響予測を接地することで音声活動予測を拡張する因果的枠組みである MuVAP を導入する。
複数の話者をモデル化する複雑さに対処するため,N-話者相互作用を固定電流と次のフロアホルダー状態にマッピングするロール相対射影法を提案する。
評価の結果, MuVAP はShift-Hold および Next-Speaker 予測タスクにおいて高いベースラインを達成している。
論文 参考訳（メタデータ） (2026-06-15T13:54:44Z) - Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models [53.470209949659115]
RLによる全音声対話モデルを改善する訓練後アライメント手法を提案する。
対話性の4つの標準軸(ターンテイキング、バックチャネル一時停止、ユーザ中断)に対処する。
応答品質に対する追加ベースの報酬は、セマンティックな劣化を防ぐ。
論文 参考訳（メタデータ） (2026-06-09T17:46:55Z) - UAF: A Unified Audio Front-end LLM for Full-Duplex Speech Interaction [7.775050285048427]
音声アシスタントは人間のような会話システムに向けて人工的な伝播を駆動しています。
音声活動検出(VAD)やターンテイク検出(TD)といったフロントエンドコンポーネントは、音声アシスタントにとって不可欠である。
本報告では, フルグレッシブ音声システムに適した初の統合音声フロントエンド LLM (UAF) を提案する。
論文 参考訳（メタデータ） (2026-04-21T08:24:55Z) - ReactMotion: Generating Reactive Listener Motions from Speaker Utterance [93.89117265072464]
話者発話からのリアクティブリスナー運動生成は、話者の発話に適切に反応する自然主義的リスナー身体運動を生成することを目的としている。
提案するReactMotionNetは、話者発話と複数の候補リスナーの動きを、適切な度合いでアノテートする大規模データセットである。
テキスト,音声,感情,動きを共同でモデル化する統合生成フレームワークであるReactMotionを提案する。
論文 参考訳（メタデータ） (2026-03-16T10:37:42Z) - Covo-Audio Technical Report [61.09708870154148]
7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。
対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
論文 参考訳（メタデータ） (2026-02-10T14:31:11Z) - Chronological Thinking in Full-Duplex Spoken Dialogue Language Models [66.84843878538207]
時系列思考は、完全なSDLMの応答品質を改善することを目的としている。
追加のレイテンシがない: ユーザが話すのをやめると、エージェントは考えるのをやめ、それ以上の遅延なしに話し始める。
結果: 客観的指標と人的評価の両面から, 時系列思考の有効性を示す実験を行った。
論文 参考訳（メタデータ） (2025-10-02T10:28:11Z) - Applying General Turn-taking Models to Conversational Human-Robot Interaction [3.8673630752805446]
本稿では、一般的なターンテイクモデル、特にTurnGPTとVAP(Voice Activity Projection)を用いて、HRIにおける会話力学を改善する。
本稿では,ロボットがいつ応答を準備し,交替し,潜在的割り込みを扱うべきかを予測するために,これらのモデルをタンデムで使用する手法を提案する。
論文 参考訳（メタデータ） (2025-01-15T16:49:22Z) - Yeah, Un, Oh: Continuous and Real-time Backchannel Prediction with Fine-tuning of Voice Activity Projection [24.71649541757314]
yeah"や"oh"といった短いバックチャネルの発話は、スムーズでエンゲージメントな対話を促進する上で重要な役割を担っている。
本稿では,微調整音声活動予測モデルを用いて,リアルタイムかつ連続的なバックチャネル予測を行う手法を提案する。
論文 参考訳（メタデータ） (2024-10-21T11:57:56Z) - Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems [55.99999020778169]
本稿では,次の単語を予測し,発話終了まで残される時間を推定する機能について検討する。
我々は,音響情報と言語情報の両方を組み込んだクロスアテンションに基づくアルゴリズムを開発した。
その結果,提案モデルでは,提案する単語を予測し,将来のEOUイベントを実際のEOUより300ミリ秒前まで推定する能力を示した。
論文 参考訳（メタデータ） (2024-09-30T06:29:58Z) - Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。
我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。
本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
論文 参考訳（メタデータ） (2022-04-18T17:58:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。