論文の概要: SpaTime: Streaming Vision-Language Models for Spatio-temporal Reasoning

• arxiv url: http://arxiv.org/abs/2610.08713v1
• Date: Tue, 06 Oct 2026 17:22:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.144469
• Title: SpaTime: Streaming Vision-Language Models for Spatio-temporal Reasoning
• Title（参考訳）: SpaTime:時空間推論のためのストリームビジョン言語モデル
• Abstract要約: SpaTimeは、因果幾何学トークンを各フレームで言語モデルに融合するストリーミングVLMである。 本研究では,フレーム単位の応答確率を異なる予測時間にマッピングし,地上からの距離をペナルティ化する応答時間損失を提案する。
• 参考スコア（独自算出の注目度）: 26.37931682143741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embodied agents must reason about 3D space while the video is still arriving, answering questions as soon as they have observed enough of the scene. VLMs that incorporate 3D geometric priors achieve strong spatial reasoning, but they operate offline, i.e., the full video must be available before they produce an answer. Streaming VLMs process frames causally and decide for themselves when to respond, yet they lack explicit 3D representations. We present SpaTime, a streaming VLM that fuses causal geometry tokens into the language model at every frame, using only the frames observed so far. To supervise when the model answers, we propose a response-time loss that maps per-frame response probabilities to a differentiable expected response time and penalizes the distance from the ground-truth frame. For evaluation, we construct StreamVSTI-Bench and StreamVSI-Bench, streaming adaptations of VSTI-Bench and VSI-Bench. On StreamVSTI-Bench, SpaTime reaches 49.2% overall accuracy and reduces the mean response-time error by 66% relative to the strongest streaming baseline.
• Abstract（参考訳）: 現場を十分に観察できたらすぐに質問に答えて、ビデオがまだ到着している間に3D空間について説明しなければなりません。 3次元幾何学的先入観を取り入れたVLMは、強い空間的推論を実現するが、それらはオフラインで動作する。 VLMプロセスのストリーミングは慎重にフレームを処理し、いつ応答するかを判断するが、明示的な3D表現は欠如している。 これまでに観測されたフレームのみを使用して,各フレームにおける因果的幾何トークンを言語モデルに融合するストリーミングVLMであるSpaTimeを提示する。 モデルが応答した際の応答時間損失を推定するために,フレームごとの応答確率を異なる期待応答時間にマッピングし,地上からの距離をペナライズする応答時間損失を提案する。 評価のために,ストリームVSTI-Bench と StreamVSI-Bench を構築し,VSTI-Bench と VSI-Bench のストリーム適応を行った。 StreamVSTI-Benchでは、SpaTimeの全体的な精度は49.2%に達し、最強のストリーミングベースラインと比較して平均応答時間エラーを66%削減する。

関連論文リスト

• Watch-Think-Interact: Bootstrapping Long-Horizon Multi-Turn Streaming Video Reasoning with Reinforcement Learning [20.556879507103144]
  ストリーミングビデオアシストは、観測されたコンテキスト予算から非同期の質問に答えるモデルを必要とする。 マルチクエストストリーミングビデオ推論のためのクローズドループフレームワークであるWatch-Think-Interact (WTI)を紹介した。 応答タイミング, ソースビデオリコール, メモリ更新に対するトラジェクトリレベルのフィードバックを用いて, 完全マルチクエストストリーミングロールアウトを最適化するStream-GDPOを開発した。
  論文  参考訳（メタデータ） (2026-09-29T08:46:25Z)
• Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding [69.296913137409]
  オンラインビデオ理解のための新しいパラダイム: SVLS(Streaming Video-Language Synchrony)を紹介する。 LyraVは、2つのコアイノベーションを備えた階層的なコントロールフレームワーク上に構築されたライブストリーミングアシスタントである。 まず、フレーム駆動トランジションコントローラ(FDTC)は、いつ話を続けるか、新しいレスポンスを開始するか、沈黙を保つか、といった、高レベルのセマンティックな決定を行います。 第二に、プラグアンドプレイの軽量予測モジュールであるStreaming Token Pacer (SToP)は、動的に言語生成率に適応し、視覚的コンテンツのペースにマッチする。
  論文  参考訳（メタデータ） (2026-06-05T07:29:20Z)
• Stream3D-VLM: Online 3D Spatial Understanding with Incremental Geometry Priors [54.51965288351254]
  ストリーミングビデオからリアルタイムな空間的理解を可能にするオンライン3次元視覚言語モデルを提案する。 提案手法では,LLMの次なる予測に基づく自己回帰型ストリーミング制御モデルを用いて,応答のタイミングを学習する。 3D言語データのストリーミングの難しさに対処するため、我々はさらにスケーラブルなデータ生成パイプラインを開発する。
  論文  参考訳（メタデータ） (2026-06-05T04:16:24Z)
• TLG: Temporal-Logic Grounding for Video Question Answering via Source-Annotation Reconstruction and Category-Targeted Reasoning [0.0]
  TimeLogic Challengeはビデオ上での時間的論理的推論を評価する。 エンド・ツー・エンドのビデオ言語モデル(VLM)は、動画をフレームの袋として扱い、アクションの発生時にローカライズできないため、このタスクでほぼチャンスを逃す。 TLG(Temporal-Logic Grounding)は、ベンチマークが生成した公開ソースデータセットアノテーションから、各ビデオのアクションタイムラインを再構築する3層システムである。
  論文  参考訳（メタデータ） (2026-06-01T02:40:25Z)
• Don't Pause! Every prediction matters in a streaming video [55.509551643600794]
  一般的なストリーミング知覚とアシスト機能を評価するマルチターンプロアクティブクエリを特徴とするSPOT-Benchを提案する。 SPOT-BenchにはTimeliness-F1が付属している。 i)オフラインモデルは、確実にイベントを検知するが、スパム予測は失敗する; (ii) サイレントをトレーニングした後、スパムを減らし、応答を低下させる; (iii) ストリーミングビデオの半分は応答を期待しない。
  論文  参考訳（メタデータ） (2026-04-27T11:07:03Z)
• Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously [69.0264594684213]
  Video Streaming Thinking (VST) はビデオ理解のための新しいパラダイムである。 ストリーミング中のビデオクリップの推論を起動するメカニズムを視聴しながら思考をサポートする。 VSTはリアルタイム応答性を維持しながら、タイムリーな理解とコヒーレント認知を改善する。
  論文  参考訳（メタデータ） (2026-03-12T17:59:51Z)
• OVO-Bench: How Far is Your Video-LLMs from Real-World Online Video Understanding? [51.45196331624591]
  OVO-Benchは、高度なオンラインビデオ理解機能のための新しいベンチマークである。 12のタスクで構成され、644のユニークなビデオと、正確なタイムスタンプを備えた約2,800の細かいメタアノテーションで構成されている。 Video-LLMの9つの評価によると、従来のベンチマークの進歩にもかかわらず、現在のモデルはオンラインビデオ理解に苦戦している。
  論文  参考訳（メタデータ） (2025-01-09T19:00:01Z)
• Temporal Reasoning Transfer from Text to Video [51.68487044397409]
  ビデオ大言語モデル(ビデオLLM)は、時間的変化の追跡と時間的関係の推論に苦労する。 テキストからビデオ領域への時間的推論能力を伝達するために、テキスト時間的推論転送(T3)を導入する。 LongVA-7Bモデルは、包括的なビデオベンチマーク上での競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-08T16:10:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。