論文の概要: Can Large Language Model Agents Learn by Watching Tutorial Videos?

• arxiv url: http://arxiv.org/abs/2611.01460v1
• Date: Sun, 01 Nov 2026 02:48:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.476318
• Title: Can Large Language Model Agents Learn by Watching Tutorial Videos?
• Title（参考訳）: 大規模言語モデルエージェントはチュートリアルビデオで学習できるか?
• Abstract要約: 本研究では,チュートリアル動画を永続的かつ構造化されたチュートリアルブックメモリに統合する非パラメトリック連続学習パラダイムであるTutorial Agentic Learning(TAL)を紹介する。 VidLearnでは、talは評価されたベースラインをすべて上回り、より多くのビデオが消費されるにつれて単調に改善する。 実際のゲームプレイでは、TALは頭対頭ゲームのうち69%でバニラよりもオープニングフェイズポジションが強い。
• 参考スコア（独自算出の注目度）: 17.280598131871255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans continuously acquire knowledge from carefully crafted materials such as books and tutorial videos, carrying that understanding into future tasks. Millions of such instructional videos are uploaded online every day, yet LLM agents remain unable to exploit this ever-expanding wealth of human teaching. Their capabilities are frozen after training, while parameter updates at scale remain prohibitively expensive. This raises the central question: can LLM agents learn from this vast instructional resource without parameter updates? We introduce Tutorial Agentic Learning (TAL), a nonparametric continual-learning paradigm that consolidates tutorial videos into a persistent, structured tutorialbook memory through a two-stage adversarial process that harvests hard, video-grounded questions and uses them to refine the memory. At inference time, TAL retrieves through a Table-of-Contents (TOC) tree, tying retrieval directly to the model's reasoning rather than to embedding similarity. To study this setting, we introduce VidLearn, a multimodal QA benchmark built from 72 chess tutorial videos spanning 12 openings. On VidLearn, TAL outperforms all evaluated baselines and improves monotonically as more videos are consumed, achieving up to 113% and 91% relative gains over the corresponding vanilla MLLMs on the training and test splits, respectively. In actual gameplay, TAL reaches a stronger opening-phase position than its vanilla counterpart in 69% of head-to-head games. Evaluation in a second domain further demonstrates the generality of TAL. Together, these results highlight instructional videos as a scalable resource for parameter-update-free agent continual learning.
• Abstract（参考訳）: 人間は、本やチュートリアルビデオのような注意深く作られた素材から知識を継続的に獲得し、その理解を将来のタスクに持っていく。 毎日何百万もの動画がオンラインでアップロードされていますが、LLMのエージェントは、この人類の教えの富を活用できないままです。 トレーニング後にその機能は凍結されるが、大規模なパラメータ更新は違法に高価である。 LLMエージェントはパラメータ更新なしでこの広大な命令リソースから学べますか? 本研究では,非パラメトリックな連続学習パラダイムであるTutorial Agentic Learning(TAL)を紹介した。このパラダイムは,チュートリアル映像を永続的かつ構造化されたチュートリアルブックメモリに統合し,ハードなビデオグラウンドの質問を抽出し,それらを用いて記憶を洗練させる2段階の逆処理を実現する。 推測時には、TALはTable-of-Contents (TOC)ツリーを通して検索し、類似性を埋め込むのではなく、モデルの推論を直接検索する。 この設定を研究するために、12のオープニングにまたがる72のチェスチュートリアルビデオから構築されたマルチモーダルQAベンチマークであるVidLearnを紹介した。 VidLearnでは、talは評価されたベースラインをすべて上回り、より多くのビデオが消費されるにつれて単調に改善する。 実際のゲームプレイでは、TALは頭対頭ゲームのうち69%でバニラよりもオープニングフェイズポジションが強い。 第2の領域における評価は、TALの一般性をさらに示す。 これらの結果は、パラメータ更新不要なエージェント連続学習のためのスケーラブルなリソースとして、インストラクショナルビデオを強調している。

関連論文リスト

• SLVMBench: Skill Learning from Video Memory [30.52254659395564]
  Skill Learning from Video Memory (SLVMBench) は、ビデオ大言語モデル(ビデオ-LLM)が長いビデオメモリからスキルを学習し、それらをリアルタイムタスクに適用できるかどうかを共同で評価する最初のベンチマークである。 SLVMBenchは、手続き的知識の記憶と抽出の完全なパイプラインをテストし、それをリアルタイムタスクに転送する。
  論文  参考訳（メタデータ） (2026-07-13T09:26:13Z)
• VideoSSR: Video Self-Supervised Reinforcement Learning [62.25888935329454]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、MLLM(Multimodal Large Language Models)の映像理解能力を大幅に向上させた。 ビデオ内のリッチで本質的な情報は、高品質で検証可能なトレーニングデータの自己生成に利用できますか?
  論文  参考訳（メタデータ） (2025-11-09T08:36:40Z)
• Dual Learning with Dynamic Knowledge Distillation and Soft Alignment for Partially Relevant Video Retrieval [53.54695034420311]
  実際には、ビデオは通常、より複雑な背景コンテンツによって、長い時間で切り離される。 本稿では,大規模視覚言語事前学習モデルから一般化知識を抽出する新しい枠組みを提案する。 実験により,本モデルがTVR,ActivityNet,Charades-STAデータセット上での最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-10-14T08:38:20Z)
• Sparrow: Data-Efficient Video-LLM with Text-to-Image Augmentation [57.34255010956452]
  この研究は、合成データによるスケーリングを再考し、データ中心の観点からビデオLLMの開発に焦点を当てる。 本研究では,純粋なテキスト命令データからビデオライクなサンプルを合成するSparrowというデータ拡張手法を提案する。 提案手法は,より多くのサンプルを用いてトレーニングしたベースラインに匹敵する,あるいは優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-11-29T18:59:54Z)
• Efficient Transfer Learning for Video-language Foundation Models [13.166348605993292]
  テキスト表現と視覚表現のアライメントを高めるために,パラメータ効率のよいマルチモーダルパティッシャ・テンポラル・アダプタ (MSTA) を提案する。 我々は,ゼロショット転送,少数ショット学習,ベース・ツー・ノーベル一般化,完全テンポラル学習という4つの課題にまたがるアプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2024-11-18T01:25:58Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• VALUE: A Multi-Task Benchmark for Video-and-Language Understanding Evaluation [124.02278735049235]
  VALUEベンチマークは、幅広いビデオジャンル、ビデオの長さ、データボリューム、タスクの難易度をカバーすることを目的としている。 大規模なVidL事前学習による各種ベースライン法の評価を行った。 我々の最高のモデルと人間のパフォーマンスの間の大きなギャップは、先進的なVidLモデルの将来の研究を要求する。
  論文  参考訳（メタデータ） (2021-06-08T18:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。