論文の概要: Frozen in a Frame: The Velocity Blind Spot in JEPA World Models
- arxiv url: http://arxiv.org/abs/2610.04585v1
- Date: Sat, 03 Oct 2026 15:18:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 18:38:30.924922
- Title: Frozen in a Frame: The Velocity Blind Spot in JEPA World Models
- Title（参考訳）: フレーム内の凍結:JEPAワールドモデルにおけるベロシティ・ブラインドスポット
- Abstract要約: 世界モデリングのための統合埋め込み予測アーキテクチャ(JEPA)はエンコーダを訓練するので、予測器は現在の埋め込みとアクションを、常に単一の描画フレームから次のフレームの埋め込みにマッピングする。
本稿では,3段階の診断プロトコルであるRateIdentとTI-JEPAを紹介する。
私たちはこれを公式のViT-TinyとAdaLN-transformerスケールで再現し、同じレシピをスクラッチから訓練された実際のdm_control Reacher写真にプッシュします。
- 参考スコア（独自算出の注目度）: 17.098571252004657
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Joint-embedding predictive architectures (JEPAs) for world modeling train an encoder so a predictor maps a current embedding and action to the next frame's embedding, always from a single rendered frame. This has a structural blind spot: a renderer without motion blur draws a scene from configuration alone, so a single-frame embedding carries no velocity information, for any encoder, including the official released LeWM weights. We confirm this on official checkpoints across four real benchmarks (PushT, Reacher, Cube, TwoRoom): every linear velocity probe sits at or below chance while position probes reach R^2 about 0.95. We introduce RateIdent, a three-stage diagnostic protocol, and TI-JEPA, a lightweight fix splitting the latent into a pose code and an explicit finite-difference motion code, predicted jointly. Across three physically grounded environments, TI-JEPA gives a significant, seed-robust gain on a stop-at-goal planning task over a matched-memory baseline, e.g. 55% lower final distance on Pendulum (p=3.2x10^-10) and 64% on CartPole (p=5.1x10^-15). We reproduce this at official ViT-Tiny plus AdaLN-transformer scale, then push the same recipe onto real dm_control Reacher photographs trained from scratch, where TI-JEPA's branch separation exceeds the memory-having baseline's by roughly 38x, the paper's largest margin. Against a same-footprint recurrent RSSM-style predictor, TI-JEPA matches or beats its rollout accuracy on two of three environments, stays separately probeable for pose and motion, and wins outright on the most coupled one. A checkable formal argument and six evaluated environments show single-frame targets are the wrong object to predict when velocity matters, and a small, interpretable structural change fixes it with no privileged supervision. Code, checkpoints, and the project page are linked below the title.
- Abstract（参考訳）: 世界モデリングのための統合埋め込み予測アーキテクチャ(JEPA)はエンコーダを訓練するので、予測器は現在の埋め込みとアクションを、常に単一の描画フレームから次のフレームの埋め込みにマッピングする。
モーションブラーのないレンダラーは構成だけでシーンを描画するので、公式リリースのLeWM重みを含むすべてのエンコーダに対して、単一のフレームの埋め込みには速度情報がない。
我々はこれを4つの実ベンチマーク(PushT、Reacher、Cube、TwoRoom)で公式チェックポイントで確認する。
本稿では,3段階の診断プロトコルであるRateIdentとTI-JEPAを紹介する。
3つの物理的に接地された環境の中で、TI-JEPAは、一致したメモリベースライン上のストップ・アット・ゴール・プランニングタスクにおいて重要なシード・ロバストゲインを与え、例えば、ペンデュラムでの最終距離(p=3.2x10^-10)が55%低く、64%がCartPole(p=5.1x10^-15)である。
私たちはこれを公式のViT-TinyとAdaLN-transformerスケールで再現し、同じレシピをスクラッチから訓練された実際のdm_control Reacher写真にプッシュします。
同じフットプリントのRSSMスタイルの予測器に対して、TI-JEPAは3つの環境のうちの2つの環境において、ロールアウトの正確さにマッチまたは打ち勝つ。
チェック可能な形式的議論と6つの評価された環境は、単一フレームのターゲットがベロシティがいつ重要かを予測するのに間違った対象であることを示し、小さな、解釈可能な構造的変更は特権的な監督なしに修正する。
コード、チェックポイント、プロジェクトページはタイトルの下にリンクされている。
関連論文リスト
- GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed [71.05944634852158]
GroundAnythingはブロックワイズによる正確なローカライゼーションで高速並列デコーディングを再構成する。
30のグラウンドベンチマークで、私たちの自己回帰型であるGroundAnything-VLMは、この技術の新たな全体的な状態を確立します。
エントロピー誘導復号法により、GroundAnythingは、この規模の芸術の先行状態を超越している。
論文 参考訳（メタデータ） (2026-09-30T12:20:51Z) - LEAP-NBV: Lightweight Edge Active-Perception for Foundation-Model Next-Best-View Planning [6.198560254557406]
ファンデーションモデルは、より大きな知性を持つ自律システムを提供しています。
Human Mesh Recovery (HMR)は、ターゲットの3Dポーズと形状の有用な推定を提供する。
本稿では,軽量なアクティブパーセプションフレームワークLEAP-NBVを提案する。
論文 参考訳（メタデータ） (2026-09-21T01:07:53Z) - Does Latent Planning Survive Point Clouds? Action-Conditioned JEPA World Models for Geometric Observations [0.0]
JEPAワールドモデルは、ラテントスペースを制御するための実用的なルートにします。
0.3-15%のシーンポイントが移動し,3次元自己監督の幾何学的ショートカットによる潜伏予測化合物の時間的最適度が向上した。
標準的なJEPA設計を3つ挙げて、クラウド、フリーズエンコーダ、分散プライア、アクションセンシティブ、および安定なワールドモデルベンチマークを再センスします。
論文 参考訳（メタデータ） (2026-08-29T20:41:41Z) - LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。
単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。
LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
論文 参考訳（メタデータ） (2026-08-27T17:26:24Z) - Diffusion Transformer World-Action Model for AV Scene Prediction [0.0]
アクションコンディショニングされた世界モデルは、自動運転車が将来のカメラシーンを独自のコントロールから予測することを可能にする。
しかし、コンパクトで訓練可能なスケールでは、未来は曖昧であり、フィールドの標準歪み指標は積極的に誤解を招く。
我々はこれを、冷凍デコーダが最大256倍256ドルフレームを最大8秒前にレンダリングする将来のシーンの潜伏を予測するコンパクトな潜伏世界モデルと対決する。
論文 参考訳（メタデータ） (2026-06-11T07:24:12Z) - Probing the Latent World: Emergent Discrete Symbols and Physical Structure in Latent Representations [0.0]
JEPA(Joint Embedding Predictive Architectures)で訓練されたビデオワールドモデルは、ピクセルの再構成ではなく、潜在空間のマスキング領域を予測することによってリッチな表現を得る。
この経路は生成モデルの視覚的検証を除去し、構造的解釈可能性のギャップを生じさせる。
本稿では,AIM(AIM)フレームワークを受動的量子化プローブとして,V-JEPA2連続潜時ベクトルをタスク固有の監督やエンコーダの変更なしに離散シンボルシーケンスに変換する軽量なボキャブラリフリープローブとして提案する。
論文 参考訳（メタデータ） (2026-03-20T01:30:59Z) - LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels [49.35636088613484]
JEPA(Joint Embedding Predictive Architectures)は、コンパクトな潜在空間で世界モデルを学習するための魅力的なフレームワークを提供する。
最初のJEPAであるLeModelWorldを紹介します。
数時間で1つのGPU上で15万のパラメータをトレーニングできるため、LeWMはファンデーションモデルベースの世界モデルよりも48倍高速に計画している。
論文 参考訳（メタデータ） (2026-03-13T19:48:14Z) - LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics [53.247652209132376]
JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。
我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
論文 参考訳（メタデータ） (2025-11-11T18:21:55Z) - Delta-Triplane Transformers as Occupancy World Models [57.16979927973973]
Occupancy World Models (OWMs) は、知的運動計画を支援するために、環境の3次元ボキセル化表現を通して将来のシーンを予測することを目的としている。
本稿では,自律運転のための新しい4DOWMであるDelta-Triplane Transformers (DTT)を提案する。
DTTは1.44$times$ speedup (26 FPS)を最先端に提供し、平均IoUを30.85に改善し、平均絶対計画誤差を1.0mに下げる。
論文 参考訳（メタデータ） (2025-03-10T13:50:23Z) - Coordinate Transformer: Achieving Single-stage Multi-person Mesh
Recovery from Videos [91.44553585470688]
ビデオから複数人の3Dメッシュを回収することは、バーチャルリアリティーや理学療法などにおけるグループ行動の自動認識に向けた重要な第一歩である。
本稿では,複数人物の時空間関係を直接モデル化し,同時にエンドツーエンドでマルチ・メッシュ・リカバリを行うコーディネート・トランスフォーマーを提案する。
3DPWデータセットの実験では、CoordFormerが最先端の精度を大幅に向上し、MPJPE、PAMPJPE、PVEの計測値でそれぞれ4.2%、8.8%、そして4.7%を上回った。
論文 参考訳（メタデータ） (2023-08-20T18:23:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。