論文の概要: DIVE: Benchmarking Full-Duplex Interaction with Visual Engagement in Continuous Streams

• arxiv url: http://arxiv.org/abs/2610.28405v1
• Date: Tue, 20 Oct 2026 15:48:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.893424
• Title: DIVE: Benchmarking Full-Duplex Interaction with Visual Engagement in Continuous Streams
• Title（参考訳）: DIVE: 継続的ストリームにおけるビジュアルエンゲージメントとのフルダブルインタラクションのベンチマーク
• Abstract要約: DIVEは、連続的および現実的なマルチモーダルストリームの下で視覚的エンゲージメントと完全なマルチモーダルインタラクションを評価するためのベンチマークである。 6つのタスクを3つの補完的な相互作用シナリオにまとめる。 詳細な人間のアノテーションと正確な時間的メタデータを備えたオーディオ/ビデオサンプルを含んでいる。
• 参考スコア（独自算出の注目度）: 28.27544079095738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in multimodal large language models (MLLMs) have substantially improved spoken interaction and video understanding. Existing online and streaming benchmarks primarily assess causal multimodal perception through timestamped question answering, whereas real-world interaction requires models to continuously identify task-relevant multimodal cues and decide whether, when, and how to respond. This leaves open how well current models can sustain real-time interaction throughout an evolving multimodal stream. To address this gap, we introduce DIVE, a benchmark for evaluating full-duplex interaction with visual engagement under continuous and realistic multimodal streams. It organizes six tasks into three complementary interaction scenarios. (1) Proactive Intervention evaluates whether models can identify emerging visual or semantic cues and intervene at the appropriate moment. (2) Continuous Engagement evaluates sustained participation through continuous visual tracking and visually grounded query interaction. (3) Interaction Coordination evaluates how models coordinate listening and speaking under overlapping and multi-party interactions. DIVE contains 525 audio/video samples with fine-grained human annotations and precise temporal metadata. Its evaluation protocol separates response quality, participation decisions, and response timing. We evaluate representative real-time models using response quality, window response rates, and reaction latency. Experiments show that leading real-time models achieve sub-second average response latency, yet their average window response rates remain at or below 53.77%. Response quality varies substantially across models and tasks, with adapting ongoing responses to newly arriving information remaining particularly challenging. We hope DIVE facilitates progress toward more natural and capable real-time multimodal interactive systems.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)の最近の進歩は、音声対話とビデオ理解を大幅に改善している。 既存のオンラインとストリーミングのベンチマークは、主にタイムスタンプされた質問応答を通じて因果的マルチモーダル知覚を評価するが、実際の相互作用は、タスク関連マルチモーダルキューを継続的に識別し、いつ、どのように応答するかを決定するモデルを必要とする。 これにより、進化するマルチモーダルストリームを通して、現在のモデルがリアルタイムのインタラクションをいかに維持できるかが明らかになる。 このギャップに対処するために、連続的および現実的なマルチモーダルストリーム下での視覚的エンゲージメントとフルダブルインタラクションを評価するためのベンチマークであるDIVEを紹介する。 6つのタスクを3つの補完的な相互作用シナリオにまとめる。 1)プロアクティブ・インターベンションは,モデルが出現する視覚的・意味的手がかりを識別し,適切なタイミングで介入できるか否かを評価する。 2)連続エンゲージメントは、連続的な視覚的追跡と視覚的接地されたクエリ相互作用を通して、持続的な参加を評価する。 3)相互作用コーディネートは、重なり合う相互作用と多人数の相互作用の下で、モデルがどのように聴取と話しを協調するかを評価する。 DIVEには525のオーディオ/ビデオサンプルがあり、細かい人間のアノテーションと正確な時間メタデータがある。 その評価プロトコルは、応答品質、参加決定、応答タイミングを分離する。 我々は、応答品質、ウィンドウ応答率、反応遅延を用いて、代表的なリアルタイムモデルを評価する。 実験では、主要なリアルタイムモデルは秒以下の平均応答遅延を達成するが、平均ウィンドウ応答率は53.77%以下である。 応答品質はモデルやタスクによって大きく異なり、新たに到着した情報に継続的な応答を適用することは特に困難である。 DIVEがより自然で有能なリアルタイムマルチモーダルインタラクティブシステムへの進展を促進することを願っている。

関連論文リスト

• TimeInteract: Towards Real-Time Interactive Intelligence for Streaming Time Series [63.51670715618216]
  時系列インタラクション(Time-Series Interaction)は、到着する時系列の観測とユーザ意図を認識し、いつ沈黙するか、応答するかを自律的に決定し、応答生成中に新しい観測処理を継続するモデルである。 StreamTSI-34Kは大規模なストリーミングTSインタラクションデータセットで,34,588エピソードと77,505応答を合成時系列と実時間時系列に1回,複数回設定して構築する。
  論文  参考訳（メタデータ） (2026-09-22T13:29:03Z)
• MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction [76.4461698685681]
  Mini-o 4.5は、人間レベルのリアルタイムストリーミングインタラクションに向けた最新の取り組みです。 Omni-CPMは、オムニモードの知覚と出力を共有時間軸に沿って整列する統合ストリーミングフレームワークである。 合計9Bパラメータで、Mini-o 4.5は視力計算能力においてGemini 2.5 Flashにアプローチし、最先端のオープンな計算性能を提供する。
  論文  参考訳（メタデータ） (2026-04-30T04:05:43Z)
• Evaluating Time Awareness and Cross-modal Active Perception of Large Models via 4D Escape Room Task [12.820859684139727]
  textbfEscapeCraftは、Omniモデルにおける選択的なクロスモーダル認識と時間認識を評価するためのカスタマイズ可能な4D環境である。 その結果、モデルはモダリティバイアスに苦しむことが示唆され、現在のモデルが時間制約の下で複数のモダリティを統合する能力に重大なギャップがあることが示唆された。
  論文  参考訳（メタデータ） (2026-03-16T16:03:34Z)
• Proact-VL: A Proactive VideoLLM for Real-Time AI Companions [52.23988809605433]
  自動評価のために選択された2つのゲームシナリオ,コメンテータとガイドを通じて,AIコンパニオンをインスタンス化する。 Proact-VLは,マルチモーダル言語モデルを人間のような環境認識とインタラクションが可能な,能動的,リアルタイムな対話エージェントに形成するフレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T19:02:46Z)
• FLEXI: Benchmarking Full-duplex Human-LLM Speech Interaction [49.83226596963294]
  音声とコンピュータの対話によりリアルタイム音声対話システムを実現する。 これらのモデルのモデリングとベンチマークは、依然として根本的な課題である。 フルヒューマン音声対話のための最初のベンチマークであるFLEXIを紹介する。
  論文  参考訳（メタデータ） (2025-09-26T11:57:42Z)
• Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
  FullDuplexBenchは、重要なインタラクティブな振る舞いを体系的に評価するベンチマークである。 ベンチマークコードを公開することによって、音声対話モデリングの進歩と、より自然で魅力的なSDMの開発を目指しています。
  論文  参考訳（メタデータ） (2025-03-06T18:59:16Z)
• What to Say and When to Say it: Live Fitness Coaching as a Testbed for Situated Interaction [5.958765450103163]
  QEVDベンチマークとデータセットは、フィットネスコーチングの挑戦的かつ制御されながら現実的な領域における人間とAIの相互作用を探索するものだ。 このベンチマークでは、複雑な人間の行動を認識し、起こりうる誤りを特定し、リアルタイムで適切なフィードバックを提供するために、視覚言語モデルが必要である。 そこで本研究では,適切なタイミングで適切なフィードバックで人間の行動に非同期に応答できる,シンプルなエンドツーエンドストリーミングベースラインを提案する。
  論文  参考訳（メタデータ） (2024-07-11T00:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。