論文の概要: OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction

• arxiv url: http://arxiv.org/abs/2610.01762v1
• Date: Thu, 01 Oct 2026 14:23:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.187161
• Title: OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction
• Title（参考訳）: OneStreamer: ストリーミングビデオインタラクションにおける知覚、記憶、反応を統一する
• Abstract要約: クエリ非依存のエビデンス記録とタスク応答を共同で学習するOneStreamerを紹介します。 タイムグラウンドのローカル・ディテールのキャプションや完成イベントの要約を制作する。 これにより、すべての出力アンカーにおける監視を保ちながら、繰り返し待ち状態の優位性を低下させる。
• 参考スコア（独自算出の注目度）: 32.04438199470426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Streaming video LLMs must retain evidence before its relevance to future tasks is known and respond when sufficient evidence becomes available. The challenge is to form reusable factual memory without compromising real-time perception. We introduce OneStreamer, which jointly learns query-independent evidence recording and task response through a shared proactive generation process. Its Proactive Hierarchical Caption Memory (PHCM) produces time-grounded local-detail captions and summaries of completed events. Streaming caption targets supervise the interpretation of observed video prefixes during training. At inference, model-generated records complement a recent visual window, providing reusable factual context without revisiting historical visual features. Proactive State Transition Learning (PSTL) reduces the dominance of repeated waiting states by preserving supervision at all output anchors and selecting representative state-change and state-persistence tokens. We further develop a streaming data synthesis pipeline that aligns output content and timing with available evidence. Combining the resulting streaming captions and QA with cleaned open-source data yields OneStreamer-1M, a broad-coverage streaming video interaction dataset with over one million records spanning diverse tasks. Our 4B model achieves the best results among the compared methods across all eight evaluated streaming video understanding benchmarks. Ablations show that retaining generated captions improves historical QA without degrading real-time perception. PSTL also outperforms dense state supervision while supervising only 27.5% of annotated state tokens. Together, these results support proactive generation as a shared learning interface connecting perception, memory formation, and timely response in streaming video interaction.
• Abstract（参考訳）: ストリーミングビデオのLLMは、その将来的なタスクへの関連性を知る前に証拠を保持し、十分な証拠が得られれば応答しなければならない。 課題は、リアルタイムの知覚を損なうことなく、再利用可能な事実記憶を作ることである。 本研究では,クエリ非依存のエビデンス記録とタスク応答を共同で学習するOneStreamerを紹介する。 Proactive Hierarchical Caption Memory (PHCM) は、タイムグラウンドのローカル詳細キャプションと、完了したイベントの要約を生成する。 ストリーミングキャプションターゲットは、トレーニング中に観察されたビデオプレフィックスの解釈を監督する。 推測において、モデル生成レコードは、最近の視覚的ウィンドウを補完し、歴史的視覚的特徴を再考することなく、再利用された事実的コンテキストを提供する。 プロアクティブ状態遷移学習(PSTL)は、全ての出力アンカーにおける監督を保ち、代表状態変更および状態パーシステンストークンを選択することにより、繰り返し待ち状態の優位性を低下させる。 さらに、出力内容とタイミングを利用可能な証拠と整合させるストリーミングデータ合成パイプラインを開発します。 結果のストリーミングキャプションとQAとクリーンなオープンソースデータを組み合わせることで、さまざまなタスクにまたがる100万以上のレコードを備えた、広範なストリーミングビデオインタラクションデータセットであるOneStreamer-1Mが得られる。 我々の4Bモデルは、評価された8つのストリーミングビデオ理解ベンチマークで比較した手法の中で、最良の結果が得られる。 アブレーションは、生成されたキャプションを保持することで、リアルタイムの知覚を劣化させることなく、歴史的QAを改善することを示している。 PSTLは、注釈付きトークンのわずか27.5%を監督しながら、州の監督を上回ります。 これらの結果は、ストリーミングビデオインタラクションにおいて、知覚、記憶形成、タイムリーな応答を接続する共有学習インタフェースとしてプロアクティブ生成をサポートする。

関連論文リスト

• When to Retrieve, When to Stay: Uncertainty-Aware Temporal Evidence Allocation for Streaming Video-LLMs [55.016033209274376]
  WRWS(When to Retrieve, When to Stay)は、不確実性適応型エビデンスアロケーションのためのトレーニング不要のフレームワークである。 WRWSは、関連手段が信頼性が高い場合に意味検索を好んでおり、不確実性の下での精度を高める。 我々の効率評価において、WRWSは、平均視覚から回答までの時間を、最先端手法の47.93%に削減する。
  論文  参考訳（メタデータ） (2026-09-29T12:13:56Z)
• PARSEE-VAD: Efficient Training-Free Online Video Anomaly Detection via Proposition-Aware Reasoning and Streaming Evidence Escalation [24.367658227422698]
  凍結したマルチモーダル言語モデルによるトレーニング不要なオンラインビデオ異常検出には,2つの課題がある。 本稿では,意味的エビデンス獲得とスコア状態の進化を分離するフレームワークであるPARSEE-VADを紹介する。 実験はトレーニングなしのオンラインパフォーマンスを示し、選択的ルーティングは専門的な計算を減らします。
  論文  参考訳（メタデータ） (2026-09-27T05:24:55Z)
• Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding [64.34948094316685]
  latentStreamは、ストリーミングメモリをストア・アンド・レトリーブから検索・インターナライズへシフトする、プログレッシブな潜伏型ワーキングメモリフレームワークです。 LatentStreamは、既存のオンラインおよびオフラインビデオベンチマークで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2026-09-03T17:28:14Z)
• StreamArena: Toward Continuous, Interactive, and Long-Horizon Agentic Streaming Video Understanding [42.88155526332792]
  時間スケールでインタラクティブなストリーミングビデオ理解のためのベンチマークであるStreamArenaを紹介する。 多様なシステムに対する評価は、連続的な相互作用と長距離多モード理解の間の緊張を露呈する。 レイテンシクリティカルなインタラクションとアクティブな監視を,独立したスケジュール作業者に割り当てる2層アーキテクチャであるStreamMindとの緊張に対処する。
  論文  参考訳（メタデータ） (2026-08-06T07:46:37Z)
• LiveStarPro: Proactive Streaming Video Understanding with Hierarchical Memory for Long-Horizon Streams [59.485485426790966]
  このLiveStarProは、長時間のストリーミング上でのプロアクティブなビデオ理解のために設計されたライブストリーミングアシスタントである。 LiveStarProは既存のメソッドを一貫して上回り、セマンティックな正確性は28.9%向上した。 そのストリーミングキーバリューキャッシュは、キャッシュなしで同じモデル上で1.58倍の推論速度を得る。
  論文  参考訳（メタデータ） (2026-06-16T11:18:05Z)
• Streaming Video Instruction Tuning [36.380564553367954]
  本稿では、汎用対話型アシスタントとして機能するリアルタイムストリーミングビデオLLMであるStreamoを紹介する。 Streamoは、リアルタイムナレーション、アクション理解、イベントキャプション、時間的イベントグラウンド、時間に敏感な質問応答など、幅広いストリーミングビデオタスクを実行する。
  論文  参考訳（メタデータ） (2025-12-24T18:59:36Z)
• Video-LLMs with Temporal Visual Screening [59.18455762289321]
  テンポラル・ビジュアル・スクリーニング (TVS) はビデオ質問応答とチューニングデータを処理する新しいタスクである。 TVSは、ビデオインストラクションチューニング(トレーニング)とビデオ質問回答(推論)パイプラインの両方にシームレスに統合可能な、モジュール化されたフロントエンドアダプタタスクとして定式化されている。 実験により、TVSを取り入れた場合、相対利得は7.33%(トレーニング)、34.6%(推論)となることが示された。
  論文  参考訳（メタデータ） (2025-08-27T14:33:32Z)
• StreamAgent: Towards Anticipatory Agents for Streaming Video Understanding [52.55809460075286]
  本稿では,今後のタスク関連情報を含むと思われる時間間隔と空間領域を予測できるStreamAgentを提案する。 我々は,重要な出来事の時間的進行を予測するために,予測エージェントに期待を促すことによって,質問の意味論と歴史的観察を統合する。 提案手法は,応答精度とリアルタイム効率において既存の手法よりも優れており,実世界のストリーミングシナリオの実用的価値を強調している。
  論文  参考訳（メタデータ） (2025-08-03T18:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。