論文の概要: StreamEval: Evaluating Interactive Streaming Video Generation Models

• arxiv url: http://arxiv.org/abs/2610.28402v1
• Date: Tue, 20 Oct 2026 15:47:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.893018
• Title: StreamEval: Evaluating Interactive Streaming Video Generation Models
• Title（参考訳）: StreamEval: インタラクティブなストリーミングビデオ生成モデルの評価
• Abstract要約: 5つのタスクにまたがるインタラクティブなストリーミングビデオ生成のための統一ベンチマークであるStreamEvalを紹介する。 StreamEvalは、初期資産を指定する15～300のスクリプトテストケースを300個備えている。 高い視覚的品質とアイデンティティの保持は、信頼性の高い要求実行や持続状態の一貫性と一致しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As streaming video generation advances, enabling real-time interaction with generated video is becoming increasingly important. We introduce StreamEval, a unified benchmark for interactive streaming video generation spanning five tasks: avatar dialogue, avatar performance, world generation, instruction editing, and reference editing. StreamEval comprises 300 scripted test cases lasting 15-300s, each specifying initial assets, incrementally arriving multimodal requests, and explicit requirements for state changes and content preservation. Performance is assessed along four evaluation dimensions: task execution, state consistency, visual fidelity, and audiovisual coordination, instantiated through ten task-specific metrics on a 0-100 scale. Evaluating 37 distinct models across 300 test cases, we find that high visual quality and identity retention do not necessarily coincide with reliable request execution or sustained state consistency. In particular, request execution remains challenging: the highest task-specific scores are 36.90 for Following among seven avatar-performance models, 25.93 for Following in text-conditioned world generation, and 15.00 for Edit Success among three reported reference-editing models. These findings identify reliable request execution under timing and preservation constraints as a central challenge for advancing omni-modal real-time interactive systems. The leaderboard is available at https://streameval.ai
• Abstract（参考訳）: ストリーミングビデオ生成が進むにつれて、生成されたビデオとのリアルタイムインタラクションの実現がますます重要になっている。 本稿では,アバター対話,アバターパフォーマンス,ワールドジェネレーション,命令編集,参照編集という5つのタスクにまたがる,インタラクティブなストリーミングビデオ生成のための統一ベンチマークであるStreamEvalを紹介する。 StreamEvalは、初期資産、インクリメンタルに到着するマルチモーダルリクエスト、状態変更とコンテンツ保存の明確な要件を指定した15～300のスクリプトテストケースを300つ備えている。 タスク実行、状態整合性、視覚的忠実度、視覚的調整の4つの評価次元に沿って評価を行い、0-100スケールで10のタスク固有のメトリクスをインスタンス化する。 300のテストケースで37の異なるモデルを評価すると、高い視覚的品質とアイデンティティの保持は、信頼できる要求実行や持続的な状態整合と必ずしも一致しないことがわかった。 特に要求実行は困難であり、最も高いタスク固有のスコアは、7つのアバターパフォーマンスモデルのうち36.90点、テキスト条件付き世界世代では25.93点、参照編集モデルでは15.00点である。 これらの結果から, 時間・保存制約下での信頼性の高い要求実行が, オールニモーダルなリアルタイム対話システム開発における中心的課題であることが明らかとなった。 リーダーボードはhttps://streameval.aiで公開されている。

関連論文リスト

• DIVE: Benchmarking Full-Duplex Interaction with Visual Engagement in Continuous Streams [28.27544079095738]
  DIVEは、連続的および現実的なマルチモーダルストリームの下で視覚的エンゲージメントと完全なマルチモーダルインタラクションを評価するためのベンチマークである。 6つのタスクを3つの補完的な相互作用シナリオにまとめる。 詳細な人間のアノテーションと正確な時間的メタデータを備えたオーディオ/ビデオサンプルを含んでいる。
  論文  参考訳（メタデータ） (2026-10-20T15:48:29Z)
• StreamAV-Bench: A Comprehensive Benchmark for Streaming Audio-Video Generation [48.448082116311156]
  StreamAV-Benchは、ストリーミングオーディオビデオ生成用に調整された最初の包括的なベンチマークである。 解析の結果,現在のモデルでは,対話制御時の進行的生成と応答性のボトルネックが時間的変動に悩まされていることが明らかとなった。 包括的故障解析に基づいて、ネイティブな共同音声-ビデオストリーミングモデルの開発を進めるための洞察を共有する。
  論文  参考訳（メタデータ） (2026-08-26T19:16:24Z)
• WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation [56.5415838759151]
  WBenchはインタラクティブな世界モデルを評価するための総合的なベンチマークである。 ビデオの品質、セッティングアテンジェンス、インタラクションアテンデンス、一貫性、物理コンプライアンスをカバーしている。 289件のテストケースと1,058件のインタラクション・ターンが含まれており、多様なシーン、スタイル、主題、一対三の視点をカバーしている。
  論文  参考訳（メタデータ） (2026-05-25T14:01:31Z)
• OmniShow: Unifying Multimodal Conditions for Human-Object Interaction Video Generation [75.70865997182294]
  ヒューマンオブジェクトインタラクションビデオ生成(Human-Object Interaction Video Generation、HOIVG)は、テキスト、参照画像、オーディオ、ポーズで条件付けられた高品質なヒューマンオブジェクトインタラクションビデオを合成することを目的としている。 我々は、この実用的で挑戦的なタスクに適したエンドツーエンドフレームワークであるOmniShowを紹介します。
  論文  参考訳（メタデータ） (2026-04-13T17:59:12Z)
• StreamEQA: Towards Streaming Video Understanding for Embodied Scenarios [33.70462645363648]
  StreamEQAは、エンボディされたシナリオにおけるビデオ質問応答の最初のベンチマークである。 156個の独立した長編ビデオの上に構築され、正確なタイムスタンプで約21Kの質問応答ペアを生成する。 StreamEQAは、エンボディされたアプリケーションのためのストリーミングビデオ理解の研究を触媒することを期待しています。
  論文  参考訳（メタデータ） (2025-12-04T04:48:16Z)
• IWR-Bench: Can LVLMs reconstruct interactive webpage from a user interaction video? [56.33950760097989]
  IWR-Benchは、ビデオからインタラクティブなWebページ再構築におけるLVLM(Large Vision-Language Models)の機能を評価するための新しいベンチマークである。 IWR-Benchは100の現実世界のウェブサイトから1,001のアクションで1,3の精巧にキュレートされたタスクで構成されている。 このベンチマークは、ビデオとアセットからインタラクションロジックを推論する包括的なマルチモーダル推論と、このロジックを関数コードに変換するための高度なコード生成という、2つの基本的な課題に関するモデルを評価する。
  論文  参考訳（メタデータ） (2025-09-29T12:38:06Z)
• PEg TRAnsfer Workflow recognition challenge report: Does multi-modal data improve recognition? [14.144188912860892]
  PETRAW (PEg TRAnsfert Recognition) の課題は, 手術ワークフロー認識法の開発であった。 PETRAWチャレンジは、仮想シミュレータ上で実行される150ペグの転送シーケンスのデータセットを提供する。 ビデオ/キネマティックベースの手法と一様性(uni-modality)の改善は、すべてのチームにとって重要なものでした。
  論文  参考訳（メタデータ） (2022-02-11T18:33:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。