論文の概要: Factorized Latent Dynamics for Video JEPA: An Empirical Study of Auxiliary Objectives

• arxiv url: http://arxiv.org/abs/2605.17165v1
• Date: Sat, 16 May 2026 21:30:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 23:51:08.353862
• Title: Factorized Latent Dynamics for Video JEPA: An Empirical Study of Auxiliary Objectives
• Title（参考訳）: ビデオJEPAのための要因付き潜時ダイナミクス:補助対象の実証的研究
• Authors: Santosh Premi,
• Abstract要約: JEPA(Joint-Embedding Predictive Architectures)は、自己教師型ビデオ表現学習のための有望なフレームワークである。 我々は,2つの事前訓練体制におけるビデオJEPAの18種類の補助的目的変動について,小規模な実証的研究を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint-Embedding Predictive Architectures (JEPA) are a promising framework for self-supervised video representation learning, yet the behavior of auxiliary objectives in small-scale Video-JEPA training is not well characterized. We report a small-scale empirical study of 18 auxiliary objective variants for Video-JEPA across two pretraining regimes: single-dataset (UCF-101) and mixed-dataset (UCF-101 + Something-Something V2 + ImageNet-100). We evaluate frozen representations on three complementary benchmarks: Diving-48 (fine-grained motion), SomethingSomething V2 (temporal reasoning), and ImageNet-100 (appearance). Our experiments suggest that many auxiliary objectives exhibit capacity trade-offs: gains on one downstream capability often coincide with degradation on another. We then study FWM-HW-LD (Factorized World-Model with Hard-Region-Weighted Latent Dynamics), a training-time objective that separates the latent representation into appearance and dynamics subspaces and applies hard-region weighting to both JEPA prediction errors and latent dynamics errors. In our mixed-dataset setting, FWM-HW-LD improves ImageNet-100 by +5.92 and SSv2 by +3.21 percentage points relative to the reference baseline, while remaining within 0.30 percentage points on Diving-48. These results indicate that latent factorization is a useful direction for studying auxiliary-objective trade-offs in Video-JEPA.
• Abstract（参考訳）: JEPA(Joint-Embedding Predictive Architectures)は,自己指導型映像表現学習のためのフレームワークである。 本稿では,ビデオJEPAの2つの事前学習体制(UCF-101)と混合データセット(UCF-101 + something-Something V2 + ImageNet-100)にまたがる18種類の補助的目的変数について,小規模な実証的研究を行った。 本研究では,Diving-48(微細な動き),Something V2(時間的推論),ImageNet-100(外観)の3つの相補的ベンチマークで凍結表現を評価した。 我々の実験は、多くの補助的な目的が能力のトレードオフを示すことを示唆している。 次に,FWM-HW-LD (Factorized World-Model with Hard-Region-Weighted Latent Dynamics) について検討した。 混合データセット設定では、FWM-HW-LDはImageNet-100を+5.92倍、SSv2を+3.21ポイント改善し、Diving-48では0.30ポイントに留まった。 これらの結果から,ビデオJEPAにおける副目的トレードオフの研究には潜在因子化が有用であることが示唆された。

関連論文リスト

• V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning [46.89986408533846]
  V-JEPA 2.1は、画像とビデオの両方の濃密で高品質な視覚表現を学習する自己教師型モデルのファミリーである。 V-JEPA 2.1は、密集した視覚的理解と世界モデリングにおける最先端の進歩を示す。
  論文  参考訳（メタデータ） (2026-03-15T17:02:40Z)
• A Lightweight Library for Energy-Based Joint-Embedding Predictive Architectures [58.26804959656713]
  JEPA(Joint-Embedding Predictive Architectures)を用いた表現と世界モデルを学習するためのオープンソースのライブラリであるEB-JEPAを提案する。 JEPAsは、ピクセル空間ではなく表現空間で予測することを学び、生成モデリングの落とし穴を避ける。 これらの表現がどのように行動条件付き世界モデルを駆動し、Two Roomsナビゲーションタスクで97%の計画成功率を達成するかを示す。
  論文  参考訳（メタデータ） (2026-02-03T14:56:24Z)
• LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics [53.247652209132376]
  JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。 我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
  論文  参考訳（メタデータ） (2025-11-11T18:21:55Z)
• Temporal vs. Spatial: Comparing DINOv3 and V-JEPA2 Feature Representations for Video Action Analysis [0.0]
  DINOv3 は空間的特徴抽出によってフレームを独立に処理し、V-JEPA2 はビデオシーケンス間の共同時間モデリングを採用している。 UCFスポーツデータセットにおいて,分類精度,クラスタリング性能,クラス内整合性,クラス間識別など,複数の次元による特徴量の検討を行った。
  論文  参考訳（メタデータ） (2025-09-25T21:05:07Z)
• When hard negative sampling meets supervised contrastive learning [17.173114048398947]
  我々は、微調整フェーズ中にハードネガティブサンプリングを組み込んだ新しい教師付きコントラスト学習目標であるSCHaNeを導入する。 SchaNeは、様々なベンチマークで、トップ1の精度で強いベースラインBEiT-3を上回っている。 提案手法は,ImageNet-1kのベースモデルに対して,86.14%の精度で新たな最先端技術を実現する。
  論文  参考訳（メタデータ） (2023-08-28T20:30:10Z)
• Motion Sensitive Contrastive Learning for Self-supervised Video Representation [34.854431881562576]
  動作感性コントラスト学習(MSCL)は、光学フローによって捉えられた動き情報をRGBフレームに注入し、特徴学習を強化する。 フレームレベルのコントラスト目標を持つ局所運動コントラスト学習(LMCL)。 Flow Rotation Augmentation (FRA) は追加のモーションシャッフル負のサンプルを生成し、Motion Differential Smpling (MDS) はトレーニングサンプルを正確にスクリーニングする。
  論文  参考訳（メタデータ） (2022-08-12T04:06:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。