論文の概要: V-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representations
- arxiv url: http://arxiv.org/abs/2611.17831v1
- Date: Fri, 13 Nov 2026 07:05:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.323568
- Title: V-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representations
- Title(参考訳): V-JEPA-LM:静的・テキスト対応表現以外のダイナミクスを読み取るビデオ言語モデル
- Abstract要約: V-JEPAのような世界モデルビデオエンコーダは、シーンがビデオからどのように変化するか(方向、速度、順序、状態)を学ぶ。
しかし、各キャプションまたは質問名にはクリップのいくつかの属性しか書かれていないため、モデルはクリップを読むのではなく、それらの属性を取得することを学習する。
V-JEPAのような予測エンコーダのためにビデオ間で共有されるサブスペースは、フレーム単位のテキスト整列エンコーダの共有コンポーネントとしてではなく、SigLIPのようなテキスト整列エンコーダである。
- 参考スコア(独自算出の注目度): 11.136932569778905
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World-model video encoders such as V-JEPA learn how scenes change (direction, speed, order, state) from video alone. To answer questions, they are joined to a language model trained on captions and question-answer pairs. But each caption or question names only a few attributes of a clip, so the model learns to retrieve those attributes rather than to read the clip, and the dynamics the encoder carries go unused: on the same items, a linear probe reads speed from frozen V-JEPA features at 87% while the VLM answers at chance. We show where dynamics lives in a frozen encoder: in a subspace shared across videos for predictive encoders such as V-JEPA, but not as a shared component of frame-wise, text-aligned encoders such as SigLIP. We then build counterfactual supervision that makes the language model read it: pixel transformations turn public videos into answer-balanced variants whose answers are set by the transformation and differ only in the change. Trained in a single stage on 4.53M public samples with 32 visual tokens per frame, where open video LLMs use several stages, 9M to 172M samples and 64 to 256 tokens per frame on average, the resulting V-JEPA-LM models (1B to 8B, Qwen3 and Llama) lead every size class in average score across eleven video benchmarks; our 4B model scores 72.1, against 61.1 for the best open 4B and 64.8 for the best open 8B model. A controlled encoder x supervision study shows that the encoder decides what can be read and the supervision what is read: at a matched budget, counterfactual supervision adds 4.5 points on average and 38 on the speed questions of natural benchmarks. Code and models: https://github.com/kkt94/Llama-V-JEPA-LM.
- Abstract(参考訳): V-JEPAのような世界モデルビデオエンコーダは、シーンがビデオからどのように変化するか(方向、速度、順序、状態)を学ぶ。
質問に答えるために、彼らはキャプションと質問と回答のペアに基づいて訓練された言語モデルに参加する。
しかし、各キャプションまたは質問名にはクリップのいくつかの属性しか書かれていないため、モデルはクリップを読むのではなく、それらの属性を取得することを学習する。
V-JEPAのような予測エンコーダのためにビデオ間で共有されるサブスペースは、フレーム単位のテキスト整列エンコーダの共有コンポーネントとしてではなく、SigLIPのようなテキスト整列エンコーダである。
ピクセル変換は、公開動画を変換によって設定され、変更によってのみ異なる回答バランスのついた変種に変換する。
オープンビデオのLLMは、フレーム毎に32のビジュアルトークンを持つ単一のステージでトレーニングされ、平均で9Mから172Mのサンプルと64から256のトークンを使用する。その結果、V-JEPA-LMモデル(1Bから8B、Qwen3、Llama)は、11のビデオベンチマークで平均スコアのすべてのサイズクラスをリードする。
制御されたエンコーダ x 監督研究は、エンコーダが何を読むか、何を読むかを決定することを示している:一致した予算では、カウンターファクトの監督は、自然ベンチマークの速度問題で平均4.5ポイント、38ポイントを加算する。
コードとモデル:https://github.com/kkt94/Llama-V-JEPA-LM
関連論文リスト
- Grounding in the Dark: Text-Only Training for Zero-Shot Video Temporal Localization [4.211094055539418]
ビデオLLMは通常、時間的タスクのためにペア化されたビデオテキストデータでトレーニングされるが、正確な時間的アノテーションの収集と大規模ビデオデータセットのトレーニングはどちらもコストがかかる。
テキストのみのLLMは、視覚言語による事前学習をしないが、テキストによるビデオ記述だけで、時間的グラウンドを実行し、推論時にのみビデオを受け取ることができるかどうかを検討する。
論文 参考訳(メタデータ) (2026-11-04T08:31:42Z) - WIRE: Weight Space Implicit Representation Encoding of Frozen Video LLMs [50.26647187459162]
ビデオ言語モデルは、デコーダの入力に視覚的な埋め込みの長いシーケンスとしてビデオを表す。
凍結したビデオ言語モデルの映像の一部を移動させることにより、この繰り返しコストを低減できるWIRE(Weight Space Implicit Representation)を提案する。
Qwen3-VL-8Bでは、1フレームあたり16のキャリアトークンを持つWIREは、ビジュアルストリームを3.5Times$で、デコーダのプリフィル時間を256フレームで$3.35times$、1024フレームで$4.14times$で削減し、キーバリューキャッシュを比例的に縮小し、トークンの復号遅延をほぼ一定に保つ。
論文 参考訳(メタデータ) (2026-10-12T20:13:21Z) - Frames2LoRA: Parametric Video Internalization for Vision-Language Models [52.46510577817688]
Frames2LoRAはパラメトリックビデオ内部化の手法である。
知覚者ハイパーネットワークは、層ごとに生成された中間表現を読み出し、凍結されたVLMがビデオをエンコードする。
ローランド適応 (LoRA) アダプタを1つのフォワードパスで生成する。
論文 参考訳(メタデータ) (2026-06-03T02:07:35Z) - Clapper: Compact Learning and Video Representation in VLMs [15.564506713994406]
現在の視覚言語モデル(VLM)は、多様なビデオ理解アプリケーションにまたがる顕著な機能を示している。
本稿では,映像表現の速度を遅くする手法であるクラッパーを提案し,時間空間符号化を効率的にするためのTimePerceiverという新しいモジュールを提案する。
論文 参考訳(メタデータ) (2025-05-21T13:52:17Z) - LVC: A Lightweight Compression Framework for Enhancing VLMs in Long Video Understanding [29.719450799231705]
VLM(Vision-Language Models)は、多フレーム入力によってフレームレベルの理解能力を得る。
ビデオ大言語モデル(Video Large Language Models, Video-LLMs)は、視覚機能内の時間的関係をキャプチャするが、高品質のビデオテキストデータセットの不足によって制限される。
本稿では,クエリ・アテンション・ビデオ圧縮機構を備えた新しい手法である軽量ビデオ圧縮(LVC)を提案する。
論文 参考訳(メタデータ) (2025-04-09T12:51:10Z) - VideoPrism: A Foundational Visual Encoder for Video Understanding [90.01845485201746]
VideoPrismは、単一の凍結モデルで多様なビデオ理解タスクに取り組む汎用ビデオエンコーダである。
我々は,36Mの高品質ビデオキャプチャ対と582Mの動画クリップを含む異種コーパス上で,VoicePrismを事前訓練した。
我々は、Webビデオ質問応答から科学用CVまで、ビデオ理解タスクの4つのグループでビデオPrismを広範囲にテストし、33の動画理解ベンチマークのうち31で最先端のパフォーマンスを達成した。
論文 参考訳(メタデータ) (2024-02-20T18:29:49Z) - VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。
データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。
機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
論文 参考訳(メタデータ) (2023-12-04T19:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。