注目論文デイリーレポート

Abstractの概要

OneStreamerは、リアルタイムの知覚、再利用可能なメモリ形成、およびプロアクティブなタスク応答を単一の因果的生成プロセス内で統合するように設計された4Bストリーミング動画大規模言語モデルです。その中核となるアイデアは、クエリ非依存のエビデンス記録とタスク回答を共同で学習することであり、時間的に根拠付けられた局所的キャプションとイベント要約を記述するProactive Hierarchical Caption Memory（PHCM）と、繰り返される待機状態を過度に強調することなく応答タイミングをより適切に監視するProactive State Transition Learning（PSTL）を使用します。著者らはまた、各瞬間で実際に利用可能なエビデンスとコンテンツおよび応答タイミングの両方を一致させた、100万件以上のレコードを持つ合成ストリーミング動画対話データセットであるOneStreamer-1Mを導入しています。8つのストリーミング動画ベンチマーク全体で本モデルは比較手法を上回り、アブレーションにより生成されたキャプションメモリがリアルタイムの知覚を低下させることなく過去に関する質問応答を改善することが示されています。

新規性

主な新規性は、メモリ保持と応答タイミングを別個の切り離されたモジュールとして処理するのではなく、プロアクティブな生成をクエリ非依存のメモリ書き込みとユーザー向けの応答の双方に対する統一されたインターフェースとして扱う点にあります。また本論文は、階層的なテキストメモリのためのPHCMと選択的な状態トークン監視のためのPSTLという2つの具体的なメカニズムに加えて、エビデンスに整合したストリーミングデータ合成パイプラインも提供しています。

成果

知覚、メモリ、プロアクティブな応答にわたる8つのストリーミング動画ベンチマークにおいて、4BのOneStreamerモデルは比較手法の中で最高の結果を達成し、ベースモデルであるQwen3-VL 4Bや11BのMOSS-VL-Realtimeなどのより大規模なベースラインを上回りました。アブレーションにより、PHCMが強力なリアルタイム知覚を維持しながら過去のQAを向上させ、PSTLが注釈付き状態トークンの27.5%のみを監視しながら密な状態監視を上回ることが実証されています。360秒の動画サンプルにおいて、PHCMは完全な視覚履歴を保持する場合と比較してコンテキストトークン数を93.1%削減し、回答段階のTime-to-First-Tokenを4.560秒から0.124秒に短縮しました。

論文の注目点

1. OneStreamerは、クエリ非依存のエビデンス記録とプロアクティブなタスク応答を単一の因果的動画言語生成フレームワークへと統合します。
2. Proactive Hierarchical Caption Memory（PHCM）は、過去の観測を時間的に根拠付けられた局所的キャプションおよびイベント要約として記録し、過去の視覚トークンを再訪することなく遠いエビデンスの再利用を可能にします。
3. Proactive State Transition Learning（PSTL）は、すべての出力アンカーを維持しながら代表的な状態遷移と持続を選択的に監視することで、繰り返される沈黙・待機状態の不均衡を緩和します。

参考リンク

• arXiv: https://arxiv.org/abs/2610.01762v1
• Fugu-MT: https://fugumt.com/fugumt/paper_check/2610.01762v1
• Hugging Face Papers: https://huggingface.co/papers/2610.01762
• Project: https://mcg-nju.github.io/OneStreamer