論文の概要: LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics

• arxiv url: http://arxiv.org/abs/2608.27395v1
• Date: Thu, 27 Aug 2026 17:26:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.510924
• Title: LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics
• Title（参考訳）: LeVJEPA: ヒューリスティックスなしの効率的でスケーラブルなビデオ事前トレーニング
• Abstract要約: 我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。 単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。 LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
• 参考スコア（独自算出の注目度）: 50.45297537821907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video carries the temporal structure of the physical world, yet learning representations from it has remained computationally expensive: prevailing self-supervised methods either prevent representation collapse through architectural asymmetries, coupling an exponential-moving-average target encoder, a stop-gradient, and a capacity-limited predictor, or circumvent it by reconstructing masked content in pixel space. We introduce LeVJEPA, the first video encoder trained under LeJEPA's collapse-free objective, which dispenses with both. A single encoder is trained with an invariance loss over global and local views of a clip, regularized by SIGReg, which excludes collapse with a provable guarantee. The architecture reduces to an encoder and a projector, and the objective to a single hyperparameter. This formulation admits two properties. First, the cost of pretraining is governed by the number of tokens the encoder observes; uniform random token dropping renders this number small while simultaneously improving downstream accuracy. At matched epochs on identical data, LeVJEPA matches or surpasses V-JEPA 2 across ViT-S/B/L at 5.6 to 20.8x less pretraining compute, and at matched total FLOPs it exceeds the strongest video baseline by 7.6 points on ImageNet-1K while remaining competitive on motion-centric benchmarks. Second, since no asymmetry between branches is required, the encoder can be trained with block-causal attention at no measurable accuracy cost: temporal ordering becomes a property of the encoder itself. Against a compute-matched DINOv2 trained on frames of the same videos, LeVJEPA approaches the image-pretrained encoder on appearance-centric evaluation while nearly doubling its motion-centric accuracy. These results indicate that, once its computational overhead is removed, video becomes a viable and in several respects preferable substrate for general-purpose visual pretraining.
• Abstract（参考訳）: ビデオには物理世界の時間構造があるが、その表現の学習には計算コストがかかる: アーキテクチャの対称性による表現の崩壊を防ぎ、指数的移動平均目標エンコーダ、停止勾配、容量制限予測器を結合するか、あるいはピクセル空間でマスク付きコンテンツを再構成することで回避する。 我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダであるLeVJEPAを紹介した。 単一のエンコーダは、SIGRegによって正規化されたクリップのグローバルおよびローカルビューよりも分散損失でトレーニングされる。 アーキテクチャはエンコーダとプロジェクタに還元され、目的は1つのハイパーパラメータになる。 この定式化には2つの性質がある。 まず、事前トレーニングのコストはエンコーダが観測するトークンの数によって管理される。 一致したデータのエポックでは、LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍のトレーニング前の計算で一致し、一致したFLOPではImageNet-1Kの7.6ポイントを越えながら、モーション中心のベンチマークで競争力を維持する。 第二に、枝間の非対称性が不要であるため、エンコーダは測定可能な精度でブロック因果注意で訓練することができる。 同じビデオのフレームでトレーニングされた計算マッチングされたDINOv2に対して、LeVJEPAは、画像に制限されたエンコーダに、外観中心の評価をアプローチし、動き中心の精度をほぼ倍にしている。 これらの結果は、計算オーバーヘッドが除去されると、ビデオが実現可能となり、汎用的な視覚前訓練のための好ましい基板がいくつかあることを示唆している。

関連論文リスト

• PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference [15.233755808671871]
  既存の視覚トークンプルーニング法には2つの基本的な制限がある。 ほとんどのアプローチは、ビジョン後エンコーダのみを動作させ、視覚符号化フェーズのかなりの遅延は、最適化されないままである。 視覚エンコーダと大規模言語モデルの両方を高速化するフレームワークである PACE を提案する。
  論文  参考訳（メタデータ） (2026-08-27T14:52:09Z)
• SPLIT: Training-Free AI-Generated and Partially Edited Video Detection via Spatial Patch-Level Incoherence and Temporal Roughness [4.774658730084455]
  本研究では,凍結した視覚エンコーダのパッチトークンを用いて,完全に生成されたビデオと部分的に編集されたビデオの両方を検出するトレーニングフリー検出器を提案する。 SPLITは2段階テンポラルラフネス(TTR)と局所空間運動インコヒーレンス(LSMI)の2つの補完信号を計算する 固定FPRにおけるフェイクリコールに基づくサービス整合性評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-07-03T02:34:50Z)
• Beyond Encoder Accumulation: Measuring Encoder Roles in Multi-Encoder VLMs [50.3757247538081]
  我々は、統一パイプラインの下で、5つの共通ビジョンエンコーダの空でないサブセット31を再訓練し、評価する。 各エンコーダのコントリビューションを,容量と必要量という2つの軸に分解する。 エンコーダごとのプロジェクタ有効ランクは、残留スコアの変動を説明する。
  論文  参考訳（メタデータ） (2026-06-02T16:46:42Z)
• EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation [80.13014959623452]
  EVATokは、$textbfE$fficient $textbfV$ideo $textbfA$daptive $textbfTok$enizersを生成するフレームワークである。 EVATok は UCF-101 上でより優れた再構成と最先端のクラス・ビデオ生成を実現する。
  論文  参考訳（メタデータ） (2026-03-12T17:59:59Z)
• PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
  本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。 提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。 LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
  論文  参考訳（メタデータ） (2026-02-04T15:33:10Z)
• SpecVLM: Fast Speculative Decoding in Vision-Language Models [14.243294546325714]
  投機的復号化は自己回帰型大規模言語モデル(LLM)を高速化する強力な方法である 視覚言語モデル(VLM)の投機的復号化について検討する。 1.5--2.3xのエンドツーエンドの高速化を完全自己回帰推論で実現する実用システムであるSpecVLMを紹介する。
  論文  参考訳（メタデータ） (2025-09-15T11:53:56Z)
• SparseTem: Boosting the Efficiency of CNN-Based Video Encoders by Exploiting Temporal Continuity [19.900719882624028]
  本稿では,メモリオーバーヘッドを削減するためのメモリ効率スケジューリング手法と,精度の劣化を最小限に抑えるためのオンライン調整機構を提案する。 SparseTemは効率の良いDetでは1.79x、CRNNでは4.72xの高速化を実現している。
  論文  参考訳（メタデータ） (2024-10-28T07:13:25Z)
• Progressive Token Length Scaling in Transformer Encoders for Efficient Universal Segmentation [67.85309547416155]
  ユニバーサルセグメンテーションのための強力なアーキテクチャは、マルチスケールの画像特徴を符号化し、オブジェクトクエリをマスク予測にデコードするトランスフォーマーに依存している。 このようなモデルのスケーリングには効率性が優先されるため、最先端のMask2Formerでは、変換器エンコーダのみに計算の50%を使用しています。 これは、エンコーダ層ごとにすべてのバックボーン機能スケールのトークンレベルの完全な表現が保持されているためである。
  論文  参考訳（メタデータ） (2024-04-23T01:34:20Z)
• It Takes Two: Masked Appearance-Motion Modeling for Self-supervised Video Transformer Pre-training [76.69480467101143]
  自己監督型ビデオトランスフォーマーの事前トレーニングは、最近マスク・アンド・予測パイプラインの恩恵を受けている。 本稿では,映像中の動きの手がかりを余分な予測対象として明示的に調査し,マスケッド・出現運動モデリングフレームワークを提案する。 一般的なビデオ表現を学習し、Kinects-400で82.3%、Something V2で71.3%、UCF101で91.5%、HMDB51で62.5%を達成する。
  論文  参考訳（メタデータ） (2022-10-11T08:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。