論文の概要: SLVMBench: Skill Learning from Video Memory

• arxiv url: http://arxiv.org/abs/2607.11312v1
• Date: Mon, 13 Jul 2026 09:26:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.417362
• Title: SLVMBench: Skill Learning from Video Memory
• Title（参考訳）: SLVMBench: ビデオメモリから学ぶスキル
• Abstract要約: Skill Learning from Video Memory (SLVMBench) は、ビデオ大言語モデル(ビデオ-LLM)が長いビデオメモリからスキルを学習し、それらをリアルタイムタスクに適用できるかどうかを共同で評価する最初のベンチマークである。 SLVMBenchは、手続き的知識の記憶と抽出の完全なパイプラインをテストし、それをリアルタイムタスクに転送する。
• 参考スコア（独自算出の注目度）: 30.52254659395564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Skill Learning from Video Memory (SLVMBench), the first benchmark that jointly evaluates whether video large language models (video-LLMs) can learn skills from long video memory and apply them to real-time tasks. SLVMBench presents models with 2-3 hour video streams that contain a tutorial video embedded in a stream of arbitrary irrelevant videos, resembling real-world human learning practices. Video-LLMs are asked to apply the acquired skill to answer real-time questions about an ongoing video. Unlike long-video understanding benchmarks that emphasize passive comprehension and skill-learning benchmarks that rely on short, immediate demonstrations, SLVMBench tests the full pipeline of memorizing and extracting procedural knowledge, as well as transferring it to real-time tasks. Moreover, rigorous human annotations feature sub-second-level temporal calibration, manually engineered questions eliminating common-sense guessing, and collated tutorials to ensure coverage of the required skills. Evaluations on state-of-the-art proprietary and open-source video LLMs show that video-LLMs struggle substantially with learning and applying skill knowledge from videos. Moreover, performance degrades markedly when the skill knowledge is placed within a long video memory. These results reveal a key limitation of existing video LLMs and position SLVMBench as the first benchmark for studying real-time skill acquisition and application from long-context video memory.
• Abstract（参考訳）: Skill Learning from Video Memory (SLVMBench) は、ビデオ大言語モデル(ビデオ-LLM)が長いビデオメモリからスキルを学習し、それらをリアルタイムタスクに適用できるかどうかを共同で評価する最初のベンチマークである。 SLVMBenchは、2～3時間の動画ストリームを備えたモデルを提示する。 ビデオLLMは、取得したスキルを適用して、進行中のビデオに関するリアルタイムの質問に答えるように求められます。 短時間かつ即時的なデモンストレーションに依存する受動的理解とスキルラーニングのベンチマークを重視した長いビデオ理解ベンチマークとは異なり、SLVMBenchは手続き的知識の記憶と抽出の完全なパイプラインをテストし、それをリアルタイムタスクに転送する。 さらに、厳密な人間のアノテーションは、第2段階の時間的キャリブレーション、常識的な推測を排除した手作業による質問、必要なスキルのカバレッジを確保するためのチュートリアルが特徴である。 最先端のプロプライエタリでオープンソースのビデオLLMの評価によると、ビデオLLMはビデオからのスキル知識の習得と応用に大きく苦労している。 さらに、長いビデオメモリ内にスキル知識を置くと、性能が著しく低下する。 これらの結果から,LLM と SLVMBench をリアルタイムなスキル獲得と,長文ビデオメモリからの応用研究のための最初のベンチマークとして,既存のビデオ LLM の限界が明らかとなった。

関連論文リスト

• ViLL-E: Video LLM Embeddings for Retrieval [55.66444095205989]
  ViLL-E (Video-LLM-Embed) は、新しい埋め込み生成機構を備えた統合ビデオLLMアーキテクチャである。 我々は、生成学習とコントラスト学習を組み合わせた3段階の学習手法を用いて、このモデルを訓練する。 我々のモデルは、時間的ローカライゼーション(他のビデオLLMよりも7%)とビデオ検索(デュアルエンコーダモデルより最大4%)を大幅に改善する。
  論文  参考訳（メタデータ） (2026-04-13T23:54:58Z)
• VideoSSR: Video Self-Supervised Reinforcement Learning [62.25888935329454]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、MLLM(Multimodal Large Language Models)の映像理解能力を大幅に向上させた。 ビデオ内のリッチで本質的な情報は、高品質で検証可能なトレーニングデータの自己生成に利用できますか?
  論文  参考訳（メタデータ） (2025-11-09T08:36:40Z)
• Unsupervised Video Continual Learning via Non-Parametric Deep Embedded Clustering [47.53991869205973]
  本研究では,タスクの連続学習において,タスク境界もラベルも提供されない,教師なしのビデオ学習のための現実的なシナリオを提案する。 また、教師なしビデオ連続学習の未探索問題に対する非パラメトリック学習ソリューションも提供する。
  論文  参考訳（メタデータ） (2025-08-29T16:49:03Z)
• Unleashing Hour-Scale Video Training for Long Video-Language Understanding [61.717205915329664]
  本稿では,大規模な時間長ビデオインストラクション追従データセットであるVideoMarathonを紹介する。 このデータセットには、ビデオあたり3分から60分に及ぶ、さまざまなドメインからソースされた9,700時間の長いビデオが含まれている。 時間スケールビデオ言語モデリングのための高効率ビデオLMMであるHour-LLaVAを提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:59:04Z)
• MMBench-Video: A Long-Form Multi-Shot Benchmark for Holistic Video Understanding [67.56182262082729]
  本稿では,ビデオ理解において大規模視覚言語モデル(LVLM)を厳格に評価するための定量的なベンチマークであるMMBench-Videoを紹介する。 MMBench-VideoにはYouTubeの長いビデオが組み込まれており、フリーフォームの質問を採用し、実用的なユースケースを反映している。 ベンチマークは、慎重に構築された能力の分類に従って人間に注釈を付けることで、モデルの時間的推論スキルを調査するために慎重に作成されている。
  論文  参考訳（メタデータ） (2024-06-20T17:26:01Z)
• Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
  ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである 合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。 我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
  論文  参考訳（メタデータ） (2024-06-13T17:50:05Z)
• Video Understanding with Large Language Models: A Survey [107.7736911322462]
  言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。 本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
  論文  参考訳（メタデータ） (2023-12-29T01:56:17Z)
• VTimeLLM: Empower LLM to Grasp Video Moments [43.51980030572101]
  大規模言語モデル(LLM)は、顕著なテキスト理解能力を示している。 ビデオLLMはビデオ全体の粗い記述しか提供できない。 微細な映像モーメント理解のためのビデオLLMであるVTimeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-30T10:49:56Z)
• VALUE: A Multi-Task Benchmark for Video-and-Language Understanding Evaluation [124.02278735049235]
  VALUEベンチマークは、幅広いビデオジャンル、ビデオの長さ、データボリューム、タスクの難易度をカバーすることを目的としている。 大規模なVidL事前学習による各種ベースライン法の評価を行った。 我々の最高のモデルと人間のパフォーマンスの間の大きなギャップは、先進的なVidLモデルの将来の研究を要求する。
  論文  参考訳（メタデータ） (2021-06-08T18:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。