論文の概要: Foresight: planning future perception in streaming VLMs without retraining

• arxiv url: http://arxiv.org/abs/2610.03123v1
• Date: Fri, 02 Oct 2026 10:44:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.334
• Title: Foresight: planning future perception in streaming VLMs without retraining
• Title（参考訳）: 留意点:リトレーニングなしのストリーミングVLMの今後の認識計画
• Abstract要約: ストリーミングビジョン言語モデル(VLM)には,近い将来の予測能力が本質的に備わっていることを示す。 FORESIGHTは2つのSiamese LLMを共有重み、入力エンコーダ、KVキャッシュで構成したデュアルストリームアーキテクチャである。 結果の計算計画は、効率的な再構成プロトコルを介してオンラインで実行される。
• 参考スコア（独自算出の注目度）: 18.9616221697332
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing streaming vision-language models (VLMs) continuously perceive and reason over visual streams, but their computational pathways remain fixed throughout inference. Consequently, they cannot adapt computation to evolving scene dynamics, where different future events demand different levels and forms of perception. We show that streaming VLMs inherently possess the ability to anticipate the immediate future, and leverage this capability to dynamically configure future computation in a training-free manner. Realizing such anticipatory computation, however, is very challenging: future anticipation must be sufficiently reliable to guide computation, planning must run concurrently with streaming inference, and online reconfiguration must incur negligible overhead. To address these challenges, we introduce FORESIGHT, a dual-stream architecture comprising two Siamese LLMs with shared weights, input encoders, and KV cache. The first LLM continuously processes incoming tokens, while the second runs ahead of the stream to anticipate future context, plan future computation, and generate task responses without interrupting streaming inference. Each plan decides when to reason next, what to check then, and how densely to sample, keeping transient evidence separate from persistent control. The resulting computation plan is executed online through an efficient reconfiguration protocol with schemaguided decoding and lightweight diff-based updates, enabling dynamic adaptation with low overhead. With a frozen Qwen3-VL-8B backbone, FORESIGHT achieves 23.0 mean joint F1 on OmniPro Online evaluation beating strongest trained baseline by 9.5%, while improving the backbone by 6.7 on StreamingBench and 15.4 on OVO-Bench, with the largest gain of 18.7 when evidence arrives later in the video stream. Our source code will be made publicly available.
• Abstract（参考訳）: 既存のストリーミングビジョン言語モデル(VLM)は、連続的に視覚的ストリームを知覚し、推論するが、その計算経路は推論を通して固定される。 その結果、異なる未来のイベントが異なるレベルと知覚形式を要求するような、進化するシーンダイナミクスに計算を適用することはできない。 ストリーミングVLMは、本質的に、近い将来に予測できる能力を有しており、この能力を活用して、トレーニング不要な方法で将来の計算を動的に構成する。 しかし、このような予測計算を実現することは、非常に難しい。将来の予測は、計算を導くのに十分な信頼性が必要であり、計画はストリーミング推論と並行して実行され、オンライン再構成は無視できるオーバーヘッドを発生させる必要がある。 これらの課題に対処するため,2つのSiamese LLMを共有重み付き,入力エンコーダ,KVキャッシュを備えたデュアルストリームアーキテクチャであるFOESIGHTを紹介した。 第1のLLMは入ってくるトークンを継続的に処理し、第2のLLMはストリームの前を走り、将来のコンテキストを予測し、将来の計算を計画し、ストリーミング推論を中断することなくタスク応答を生成する。 それぞれの計画は、次にいつ推論するか、次に何をチェックするか、どのくらいサンプリングするかを決め、過渡的な証拠を永続的な制御から切り離す。 結果の計算計画は、スキーマ付きデコードと軽量なdiffベースの更新を備えた効率的な再構成プロトコルを通じてオンラインで実行される。 凍結したQwen3-VL-8Bのバックボーンでは、OmniPro Onlineの23.0の平均的なジョイントF1が最強のトレーニングベースラインを9.5%上回った一方で、StreamingBenchの6.7とOVO-Benchの15.4ではバックボーンが改善され、ビデオストリームで証拠が届くと18.7の最大の増加となった。 私たちのソースコードは公開されます。

関連論文リスト

• Next Forcing: Causal World Modeling with Multi-Chunk Prediction [65.05727210375643]
  Next Forcingは、因果世界モデリングのためのマルチチャンク予測フレームワークである。 トレーニングの高速化、精度の向上、推論の高速化を実現している。 5kのトレーニングステップでLingBot-VAよりも93.1%向上し、2.3倍高速収束を実現している。
  論文  参考訳（メタデータ） (2026-06-09T17:59:22Z)
• Harnessing Streaming Video in the Wild [53.23721420272668]
  VLM(Vision-Language Models)は、ビデオコールアシスタント、ライブコメンタリー、エンボディロボットなどのアプリケーションでビデオストリームを処理するためにますます必要とされる。 理想的なストリーミングシステムは、アクティブなインタラクション、長期メモリ、リアルタイム処理をサポートする必要がある。 既存のVLMはオフラインのビデオ理解に優れていますが、ストリーミング機能に欠け、ストリーミングデプロイメント専用のインフラストラクチャが欠如しています。
  論文  参考訳（メタデータ） (2026-06-07T13:00:19Z)
• Stream2LLM: Overlap Context Streaming and Prefill for Reduced Time-to-First-Token (TTFT) [2.8350851063316873]
  ストリーミングコンテキスト – 推論による重なり合う検索 – は、このレイテンシを軽減することができる。 本稿では,ストリーミング対応LLMサービスシステムStream2LLMについて述べる。
  論文  参考訳（メタデータ） (2026-03-29T06:49:12Z)
• Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously [69.0264594684213]
  Video Streaming Thinking (VST) はビデオ理解のための新しいパラダイムである。 ストリーミング中のビデオクリップの推論を起動するメカニズムを視聴しながら思考をサポートする。 VSTはリアルタイム応答性を維持しながら、タイムリーな理解とコヒーレント認知を改善する。
  論文  参考訳（メタデータ） (2026-03-12T17:59:51Z)
• Think-as-You-See: Streaming Chain-of-Thought Reasoning for Large Vision-Language Models [14.21980212001207]
  ビデオデータのストリーミング特性に触発されて,LVLMのストリーミング推論パラダイムを2つ検討する。 ストリーミング入力の整合性を向上するために,真の並列推論を可能にする統合フレームワークである textbfThink-as-You-See (TaYS) を提案する。
  論文  参考訳（メタデータ） (2026-03-03T11:24:55Z)
• HiVid: LLM-Guided Video Saliency For Content-Aware VOD And Live Streaming [21.627116007248777]
  HiVidは、VoD(Video-on-Demand)とライブストリーミングの両方で高忠実度重みを生成するために、Large Language Modelsを活用するフレームワークである。 我々は、HiVidがVODで最大11.5%、SOTAベースライン上でのライブストリーミングで最大26%の重量予測精度を向上させることを示した。
  論文  参考訳（メタデータ） (2026-02-15T16:13:51Z)
• Learning from One Continuous Video Stream [70.30084026960819]
  1つの連続ビデオストリームからオンライン学習のためのフレームワークを導入する。 連続するビデオフレーム間の高い相関を考えると、これは大きな課題となる。 プリトレーニングとシングルストリーム評価を切り替える実用的で柔軟な方法として,ピクセル・ツー・ピクセル・モデリングを採用している。
  論文  参考訳（メタデータ） (2023-12-01T14:03:30Z)
• Real-time Object Detection for Streaming Perception [84.2559631820007]
  ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。 ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。 提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
  論文  参考訳（メタデータ） (2022-03-23T11:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。