論文の概要: EGSD: Event-Grounded Self-Distillation for Streaming Video Understanding
- arxiv url: http://arxiv.org/abs/2609.36803v2
- Date: Wed, 30 Sep 2026 07:35:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.192438
- Title: EGSD: Event-Grounded Self-Distillation for Streaming Video Understanding
- Title（参考訳）: EGSD:ストリーミングビデオ理解のためのイベント周囲の自己蒸留
- Abstract要約: リアルタイムビデオ理解には、ストリーミングコンテンツのメモリを漸進的に維持する必要がある。
検証可能なイベントに対するインクリメンタルな更新として,ストリーミングメモリを特徴付けるイベント集約型自己蒸留を提案する。
主要なオンラインおよびオフラインベンチマークの実験では、EGSDは強力なパフォーマンスを示し、StreamingBenchでは79.8%、OVO-Bench Real-Timeでは73.4%に達した。
- 参考スコア（独自算出の注目度）: 6.318989712167856
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-time video understanding requires incrementally maintaining a memory of streaming content, and optimizing this requires dense process signals. On-Policy Self-Distillation (OPSD), which lets one model serve as both teacher and student with the teacher receiving additional privileged information such as the question and ground-truth (GT) answer, can supply such token-level signals. However, applying it directly to streaming video raises two problems. (1) The student cannot be optimized end-to-end, where memory is written before the question arrives, yet the teacher scores it with the question-and-GT privilege, misaligning their preferences. (2) Effective-entity memory collapses, where the question-and-GT privilege makes the teacher favor only question-relevant entities, and token-mean averaging over a memory renders its signal invariant to how many entities that memory covers, both driving memory against the streaming need for diversity. To address these issues, we propose Event-Grounded Self-Distillation (EGSD), which characterizes streaming memory as an incremental update over verifiable Events (key visual entities, actions, and details) and targets the two problems on this basis. For problem (1), we adapt the OPSD signal into a multiplicative weight combined with the outcome reward; for problem (2), we re-weight the teacher with Events as privileged information to counter its question-relevance bias, and add an entity-coverage reward to supply the coverage preference the token-mean teacher lacks. Extensive experiments on mainstream online and offline benchmarks show EGSD achieves strong performance, reaching 79.8% on StreamingBench and 73.4% on the OVO-Bench Real-Time track, while memory analysis shows effective-entity recall rises 17.4% at only 6.8% more memory length.
- Abstract（参考訳）: リアルタイムビデオ理解にはストリーミングコンテンツのメモリを漸進的に維持する必要がある。
On-Policy Self-Distillation (OPSD) は、教師が質問やグラウンドトゥルース(GT)回答などの特権情報を受け取ることによって、教師と生徒の両方がモデルとして機能する。
しかし、ストリーミングビデオに直接適用することは2つの問題を引き起こす。
1) 生徒は,質問が到着する前にメモリが書き込まれるように,エンドツーエンドで最適化することはできないが,教師は質問とGTの特権で評価し,好みを誤る。
2) 実効性記憶が崩壊し,教師は質問・GT特権によって質問関連エンティティのみを優先し,メモリ上のトークン平均化は,メモリがカバーするエンティティの数に不変な信号を表示する。
これらの問題に対処するために、我々は、ストリーミングメモリを検証可能なイベント(キービジュアルエンティティ、アクション、詳細)に対するインクリメンタルな更新として特徴付け、この2つの問題をターゲットにするイベント・グラウンド・セルフ蒸留(EGSD)を提案する。
問題(1)では、OPSD信号と結果報酬を組み合わせた乗算重みに適応し、(2)問題(2)では、質問関連バイアスに対処するための特権情報としてイベントを持つ教師を再重み付けし、トークン平均教師が欠落するカバレッジ優先を提供するためにエンティティ被覆報酬を追加する。
オンラインおよびオフラインのベンチマークにおける大規模な実験では、EGSDは強力なパフォーマンスを示し、ストリームBenchでは79.8%、OVO-Benchリアルタイムトラックでは73.4%に達し、メモリ分析では、有効エンタリティリコールは17.4%増加し、メモリ長はわずか6.8%増加した。
関連論文リスト
- MemFold: Learning Compact Soft Memory for Long-Context Personalization via On-Policy Optimization [27.318407913758577]
本稿では,その動作によって固定予算のソフトメモリを最適化するMemFoldを提案する。
3つのQwenバックボーンの中で、MemFoldは私たちが測定した最も高い精度を実現した。
論文 参考訳（メタデータ） (2026-09-29T00:52:34Z) - MemChain: Learning Interpretable Memory Traces for Memory-Augmented LLM Agents [26.87993979719045]
メモリ拡張LDMエージェントは通常、関連するメモリを検索し、直接回答モデルに入力することでクエリに応答する。
提案するMemChainは、検索した候補を応答対応アクティブメモリに変換する訓練後のメモリポリシーである。
MemChainは、クローズドソースとオープンウェイトフリートの両方の解答モデルにおいて、最先端のパフォーマンスを一貫して達成していることを示す。
論文 参考訳（メタデータ） (2026-07-27T07:37:43Z) - Visual Contrastive Self-Distillation [61.298159957622886]
本稿では,視覚的コントラスト自己蒸留法を提案する。
これと対照的に,本研究では,教師の具体的イメージ分布の明確化を図り,その結果のフルディストリビューション目標を学生に蒸留する。
論文 参考訳（メタデータ） (2026-07-23T17:37:37Z) - When the Future Becomes the Past: Taming Temporal Correspondence for Self-supervised Video Representation Learning [80.09819072780193]
ビデオ表現学習における時間対応を利用した自己教師型フレームワーク(T-CoRe)を提案する。
T-CoReの実験は、複数の下流タスクに対して一貫して優れた性能を示し、ビデオ表現学習の有効性を実証している。
論文 参考訳（メタデータ） (2025-03-19T10:50:03Z) - Memory-enhanced Retrieval Augmentation for Long Video Understanding [91.7163732531159]
本稿では,メモリ強化型RAGベースの新しいアプローチであるMemVidを紹介する。
提案手法は,1) 全体的映像情報の記憶,2) メモリに基づくタスクの情報要求の推論,3) 情報要求に基づくクリティカルモーメントの検索,4) 最終回答を生成するための検索モーメントの抽出という4つの基本的なステップで機能する。
MemVid は LVLM 法と RAG 法に比較して, 効率と有効性を示す。
論文 参考訳（メタデータ） (2025-03-12T08:23:32Z) - Seeing in the Dark: A Teacher-Student Framework for Dark Video Action Recognition via Knowledge Distillation and Contrastive Learning [2.772895608190934]
ActLumosは、マルチストリームレベルの正確性を保ちながら、シングルストリーム推論を実現する教師向けフレームワークである。
単流推論では、ARID V1.0では96.92%(Top-1)、ARID V1.5では88.27%、Dark48では48.96%である。
論文 参考訳（メタデータ） (2025-02-06T02:26:47Z) - Black-box Unsupervised Domain Adaptation with Bi-directional
Atkinson-Shiffrin Memory [59.51934126717572]
Black-box Unsupervised Domain adaptation (UDA)は、トレーニング中にソースデータまたはソースモデルにアクセスすることなく、ターゲットデータのソース予測で学習する。
両方向の記憶機構であるBiMemを提案する。
BiMemは、画像分類、セマンティックセグメンテーション、オブジェクト検出など、さまざまな視覚的タスクに一貫して優れたドメイン適応性能を実現する。
論文 参考訳（メタデータ） (2023-08-25T08:06:48Z) - Teacher Agent: A Knowledge Distillation-Free Framework for
Rehearsal-based Video Incremental Learning [29.52218286906986]
リハーサルベースのビデオインクリメンタル学習は、しばしば知識蒸留を用いて、以前に学習したデータの破滅的な忘れを軽減している。
テキスト教師エージェントと呼ばれるリハーサルベースのビデオインクリメンタル学習のための知識蒸留自由フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-01T06:54:56Z) - Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。
MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
論文 参考訳（メタデータ） (2022-01-03T02:32:06Z) - ASCNet: Self-supervised Video Representation Learning with
Appearance-Speed Consistency [62.38914747727636]
本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。
既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。
本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
論文 参考訳（メタデータ） (2021-06-04T08:44:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。