論文の概要: CL-VISTA: Benchmarking Continual Learning in Video Large Language Models

• arxiv url: http://arxiv.org/abs/2604.00677v1
• Date: Wed, 01 Apr 2026 09:30:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.920913
• Title: CL-VISTA: Benchmarking Continual Learning in Video Large Language Models
• Title（参考訳）: CL-VISTA:ビデオ大言語モデルにおける連続学習のベンチマーク
• Authors: Haiyang Guo, Yichen Shi, Fei Zhu, Wenzhuo Liu, Hongbo Zhao, Fanhu Zeng, Shijie Ma, Da-Han Wang, Xu-Yao Zhang,
• Abstract要約: ビデオ大言語モデル (Video Large Language Models, Video-LLMs) は、静止しない実世界のデータに適応するために連続的な学習を必要とする。 既存のベンチマークは、モダンな基礎モデルを評価するには不十分だ。 ビデオLLMの連続的ビデオ理解に適したベンチマークであるCL-VISTAを提案する。
• 参考スコア（独自算出の注目度）: 43.746369203878004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video Large Language Models (Video-LLMs) require continual learning to adapt to non-stationary real-world data. However, existing benchmarks fall short of evaluating modern foundation models: many still rely on models without large-scale pre-training, and prevailing benchmarks typically partition a single dataset into sub-tasks, resulting in high task redundancy and negligible forgetting on pre-trained Video-LLMs. To address these limitations, we propose CL-VISTA, a benchmark tailored for continual video understanding of Video-LLMs. By curating 8 diverse tasks spanning perception, understanding, and reasoning, CL-VISTA induces substantial distribution shifts that effectively expose catastrophic forgetting. To systematically assess CL methods, we establish a comprehensive evaluation framework comprising 6 distinct protocols across 3 critical dimensions: performance, computational efficiency, and memory footprint. Notably, the performance dimension incorporates a general video understanding assessment to assess whether CL methods genuinely enhance foundational intelligence or merely induce task-specific overfitting. Extensive benchmarking of 10 mainstream CL methods reveals a fundamental trade-off: no single approach achieves universal superiority across all dimensions. Methods that successfully mitigate catastrophic forgetting tend to compromise generalization or incur prohibitive computational and memory overheads. We hope CL-VISTA provides critical insights for advancing continual learning in multimodal foundation models.
• Abstract（参考訳）: ビデオ大言語モデル (Video Large Language Models, Video-LLMs) は、静止しない実世界のデータに適応するために連続的な学習を必要とする。 多くは大規模な事前トレーニングのないモデルに依存しており、一般的なベンチマークでは、単一のデータセットをサブタスクに分割する。 これらの制約に対処するために,ビデオLLMの連続的ビデオ理解に適したベンチマークであるCL-VISTAを提案する。 CL-VISTAは、知覚、理解、推論にまたがる8つの多様なタスクをキュレートすることで、破滅的な忘れを効果的に露呈する実質的な分布シフトを誘導する。 CL手法を体系的に評価するために,性能,計算効率,メモリフットプリントの3つの重要な領域にまたがる6つの異なるプロトコルからなる包括的評価フレームワークを構築した。 特に、パフォーマンスディメンションには、CL手法が基礎的知性を真に強化するか、単にタスク固有のオーバーフィッティングを誘導するかを評価するための一般的なビデオ理解評価が含まれている。 10のメインストリームなCLメソッドの大規模なベンチマークでは、基本的なトレードオフが示され、すべての次元にわたって普遍的な優位性を達成する方法は存在しない。 破滅的な忘れをうまく緩和する手法は、一般化を損なうか、あるいは禁忌な計算とメモリオーバーヘッドを引き起こす傾向がある。 CL-VISTAがマルチモーダル基礎モデルの継続的な学習を促進する上で重要な洞察を提供することを期待している。

関連論文リスト

• LibContinual: A Comprehensive Library towards Realistic Continual Learning [62.34449396069085]
  継続的学習(CL)における根本的な課題は破滅的な忘れ込みであり、新しいタスクに適応することで、以前のタスクのパフォーマンスが低下する。 現実的なCLの基礎となるプラットフォームとして設計された,包括的で再現可能なライブラリであるLibContinualを提案する。
  論文  参考訳（メタデータ） (2025-12-26T13:59:13Z)
• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Read Between the Layers: Leveraging Multi-Layer Representations for Rehearsal-Free Continual Learning with Pre-Trained Models [15.847302755988506]
  本研究では,非定常分布から連続的なタスク列を学習しなければならない連続学習問題に対処する。 プレトレーニングネットワークの複数の中間層からの2次特徴統計量を利用する,CL に対する新しいプロトタイプベースのアプローチである LayUP を提案する。 その結果、CLにおける事前学習モデルの表現能力を完全に消耗させることは、最終的な埋め込みをはるかに超えることを示した。
  論文  参考訳（メタデータ） (2023-12-13T13:11:44Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。