論文の概要: Multimodal Voice Activity Projection for Social Robot Mediation: Expected Behavior and Deployment Constraints

• arxiv url: http://arxiv.org/abs/2609.28317v1
• Date: Wed, 23 Sep 2026 15:57:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.102782
• Title: Multimodal Voice Activity Projection for Social Robot Mediation: Expected Behavior and Deployment Constraints
• Title（参考訳）: ソーシャルロボット治療のためのマルチモーダル音声活動予測:期待行動と展開制約
• Abstract要約: 本稿では,将来のロボットの媒介行動に対する人間の状態認識層として,MM-VAP(Multimodal Voice Activity Projection)を提案する。 このモデルは、音声と視覚の同時証拠から会話フロアの将来的な進化を推定し、ホールド、シフト、シフト予測、バックチャネル予測、重複関連状態などのターンテイクイベントを導出する。
• 参考スコア（独自算出の注目度）: 5.433319595435086
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Turn-taking prediction is especially relevant for social robots that act as mediators in human-human interaction, where the expected action is often not to speak, but to orient, wait, avoid interruption, or prepare a balanced intervention. This paper presents Multimodal Voice Activity Projection (MM-VAP) as a human state-aware perception layer for future robot mediation behavior. The model estimates the future evolution of the conversational floor from synchronized audio-visual evidence and derives turn-taking events such as Hold, Shift, Shift prediction, Backchannel prediction, and overlap-related states. The approach uses VA-related pretrained audio-visual encoders, LoRA adaptation, inter-speaker attention, and zero-shot event inference from future voice activity projections. Experiments on NoXi, NoXi+J, and Haru EDR support the feasibility of this formulation, especially for floor management events that can be connected to gaze preparation, active listening, and conservative intervention. Finally, the paper defines the expected robot output interface and discusses the main deployment constraints, including real-time inference, preprocessing latency, multimodal synchronization, and input-quality monitoring.
• Abstract（参考訳）: ターンテイク予測は、人間と人間の相互作用において仲介者として働く社会ロボットにとって特に重要であり、期待される行動は、話すことではなく、オリエント、待つこと、中断を避けること、バランスの取れた介入を準備することである。 本稿では,将来のロボットの媒介行動に対する人間の状態認識層として,MM-VAP(Multimodal Voice Activity Projection)を提案する。 このモデルは、音声と視覚の同時証拠から会話フロアの将来的な進化を推定し、ホールド、シフト、シフト予測、バックチャネル予測、重複関連状態などのターンテイクイベントを導出する。 このアプローチでは、VA関連の事前訓練されたオーディオ視覚エンコーダ、LoRA適応、話者間注意、将来の音声活動予測からのゼロショットイベント推論を使用する。 NoXi、NoXi+J、Hur EDRの実験は、特に視線準備、アクティブリスニング、保守的介入に繋がるフロアマネジメントイベントにおいて、この定式化の実現性を支持している。 最後に,ロボットの出力インターフェースを定義し,リアルタイム推論,前処理遅延,マルチモーダル同期,入力品質監視など,主要なデプロイメント制約について考察する。

関連論文リスト

• MIRA: Real-Time Full-Duplex Human-Robot Interaction for Embodied Companions [27.12492233362043]
  リアルタイムエンボディード・コンパニオン・インタラクションでは、ストリーミング音声からのユーザ意図をロボットがタイムリーな応答を生成する必要がある。 リアルタイム・フルタイム・エンボディ・アソシエイト・インタラクションのための統合フレームワークを提案する。 MIRAはAstribot S1のヒューマノイドロボット評価にデプロイされる。
  論文  参考訳（メタデータ） (2026-09-21T13:14:53Z)
• Multimodal Voice Activity Projection for Turn-Taking in Social Robots with Voice-Activity-Related Pretrained Encoders [5.677986854981345]
  ターンテイク予測は、人間と人間の相互作用に関わる社会ロボットにとって重要な要件である。 本研究は,音声のみのVAPを拡張するマルチモーダル音声活動投影フレームワークを提案する。 提案手法は、もともと音声関連タスクに最適化された事前訓練されたオーディオ視覚バックボーンに基づいて構築される。
  論文  参考訳（メタデータ） (2026-07-08T11:34:00Z)
• Joint Prediction of Human Motions and Actions in Human-Robot Collaboration [81.20389836121502]
  我々は,人間の行動と行動の共役推定と予測のための階層的枠組みであるtextsfMA-HERPを紹介した。 本研究では, 筋骨格シミュレーションを用いて, 騒音下での正確な動き予測と頑健な動作推定を示す予備的な実験評価を行った。
  論文  参考訳（メタデータ） (2026-04-03T14:40:07Z)
• Ego-centric Predictive Model Conditioned on Hand Trajectories [52.531681772560724]
  自我中心のシナリオでは、次の行動とその視覚的結果の両方を予測することは、人間と物体の相互作用を理解するために不可欠である。 我々は,エゴセントリックなシナリオにおける行動と視覚的未来を共同でモデル化する,統合された2段階予測フレームワークを提案する。 我々のアプローチは、エゴセントリックな人間の活動理解とロボット操作の両方を扱うために設計された最初の統一モデルである。
  論文  参考訳（メタデータ） (2025-08-27T13:09:55Z)
• Yeah, Un, Oh: Continuous and Real-time Backchannel Prediction with Fine-tuning of Voice Activity Projection [24.71649541757314]
  yeah"や"oh"といった短いバックチャネルの発話は、スムーズでエンゲージメントな対話を促進する上で重要な役割を担っている。 本稿では,微調整音声活動予測モデルを用いて,リアルタイムかつ連続的なバックチャネル予測を行う手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T11:57:56Z)
• Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems [55.99999020778169]
  本稿では,次の単語を予測し,発話終了まで残される時間を推定する機能について検討する。 我々は,音響情報と言語情報の両方を組み込んだクロスアテンションに基づくアルゴリズムを開発した。 その結果,提案モデルでは,提案する単語を予測し,将来のEOUイベントを実際のEOUより300ミリ秒前まで推定する能力を示した。
  論文  参考訳（メタデータ） (2024-09-30T06:29:58Z)
• AMP: Autoregressive Motion Prediction Revisited with Next Token Prediction for Autonomous Driving [59.94343412438211]
  本稿では,GPT方式の次のトークン動作予測を動作予測に導入する。 同種単位-ワードからなる言語データとは異なり、運転シーンの要素は複雑な空間的・時間的・意味的な関係を持つ可能性がある。 そこで本稿では,情報集約と位置符号化スタイルの異なる3つの因子化アテンションモジュールを用いて,それらの関係を捉えることを提案する。
  論文  参考訳（メタデータ） (2024-03-20T06:22:37Z)
• AC-VRNN: Attentive Conditional-VRNN for Multi-Future Trajectory Prediction [30.61190086847564]
  条件付き変動リカレントニューラルネットワーク(C-VRNN)に基づくマルチフューチャ軌道予測のための生成アーキテクチャを提案する。 ヒューマンインタラクションは、繰り返し推定のオンライン注意深い隠れ状態改善を可能にするグラフベースのアテンションメカニズムでモデル化される。
  論文  参考訳（メタデータ） (2020-05-17T17:21:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。