論文の概要: Depth-Regularized JEPA World Models Learn More Transferable Representations from Real Outdoor Robot Data

• arxiv url: http://arxiv.org/abs/2607.16314v1
• Date: Wed, 15 Jul 2026 00:58:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.107983
• Title: Depth-Regularized JEPA World Models Learn More Transferable Representations from Real Outdoor Robot Data
• Title（参考訳）: 深度規則化JEPA世界モデル
• Abstract要約: ロボットビデオデータから直接、より堅牢な潜伏ダイナミクスを学習する際のトレーニングにおける幾何学的事前学習として深度を導入する。 凍結表現型ビジュアルオドメトリープローブ,予測器によるサプライズ検出,多段潜時ロールアウト忠実度を用いて評価を行った。 その結果、軽量なトレーニング時間幾何学的事前学習により、実屋外データよりコンパクトなJEPAワールドモデルがより有用で、より伝達しやすいことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World models, especially based on JEPA architectures, have been shown to learn robust dynamics of various environments. However, learning from visually complex real-world data remains a challenge, especially in unpredictable outdoor environments. We introduce depth as a geometric prior during training in learning more robust latent dynamics directly from robot video data and handling visual complexity. This combines depth supervision with an isotropy-inducing latent regularizer (SIGReg), maximizing task-agnostic latent diversity while constraining how that diversity is organized, with the combined objective targeting the highest-entropy representation consistent with scene geometry. To satisfy this greater complexity without increasing inference time, we also add training-only overparameterization. Training an 18M-parameter model on video from a real agricultural robot, we evaluate with frozen-representation visual odometry probes, predictor-based surprise detection, and multi-step latent rollout fidelity. Compared to the baseline LeWM, our method lowers visual odometry probe error by 33%, substantially increases surprise-score separation both in-domain and on the out-of-domain TartanGround benchmark, and improves multi-step rollout fidelity under domain shift, with gains that grow with rollout horizon. Notably, we also see improvements in surprise-score separation on physics understanding that is not directly tied to 3D geometry, such as lighting and shadows. These results show that a lightweight training-time geometric prior makes a compact JEPA world model more useful and more transferable on real outdoor data with strong underlying representations, without adding inference overhead. Our work suggests that depth as a physically grounded prior can enhance world model generalization on a variety of tasks.
• Abstract（参考訳）: 特にJEPAアーキテクチャに基づいた世界モデルは、さまざまな環境の堅牢なダイナミクスを学ぶことが示されている。 しかし、特に予測不能な屋外環境では、視覚的に複雑な実世界のデータから学ぶことは依然として困難である。 ロボットビデオデータから直接、より堅牢な潜伏ダイナミクスを学習し、視覚的複雑さを扱うトレーニングにおいて、幾何学的事前として深度を導入する。 これにより、深度監視とSIGReg(Isotropy-inducing Latent regularizer)が組み合わされ、タスク非依存の潜伏多様性が最大化され、その多様性がどのように組織化されているかが制限される。 推論時間を増やすことなく、このより大きな複雑性を満たすために、トレーニングのみのオーバーパラメータ化も追加します。 実地農業ロボットのビデオ上で18Mパラメーターモデルを訓練し,凍結表現型視覚計測プローブ,予測器によるサプライズ検出,多段潜時ロールアウト忠実度を評価した。 ベースラインのLeWMと比較して、視覚計測プローブの誤差を33%減らし、ドメイン内およびドメイン外TartanGroundベンチマークでのサプライズスコア分離を大幅に増加させ、ドメインシフト時のマルチステップロールアウト忠実度を向上し、ロールアウト水平化に伴うゲインが増大する。 また、照明や影といった3D幾何学と直接結びついていない物理理解において、サプライズとスコアの分離が改善されていることも注目に値する。 これらの結果から,より軽量なトレーニング時間幾何前処理により,推論オーバーヘッドを伴わずに,実屋外データに対してコンパクトなJEPA世界モデルをより有用かつ伝達しやすくすることを示す。 我々の研究は、物理的に基礎付けられた事前の深さが、様々なタスクにおける世界モデルの一般化を促進することを示唆している。

関連論文リスト

• Generative Texture Diversification of 3D Pedestrians for Robust Autonomous Driving Perception [0.0]
  本稿では,合成シーン生成のための3次元歩行者資産における変動性のスケーリング手法を提案する。 我々は、多様な顔のテクスチャとアイデンティティレベルの外観変化を合成することにより、複数の異なる歩行者インスタンスを生成する。 これらの資産を用いて, 合成データセットを構築し, 実データと合成データを混合したRGBオブジェクト検出の影響について検討する。
  論文  参考訳（メタデータ） (2026-05-13T16:35:50Z)
• Mirage2Matter: A Physically Grounded Gaussian World Model from Video [87.9732484393686]
  我々は、グラフィック駆動の世界モデリングおよびシミュレーションフレームワークであるSimulate Anythingを紹介する。 実世界の環境を3次元ガウススプレイティング(3DGS)による写実的シーン表現に再構築する。 次に、生成モデルを利用して、物理的に現実的な表現を復元し、精度校正ターゲットを介してシミュレーション環境に統合する。
  論文  参考訳（メタデータ） (2026-01-24T07:43:57Z)
• UniSH: Unifying Scene and Human Reconstruction in a Feed-Forward Pass [83.7071371474926]
  UniSHは、統合されたフィードフォワードフレームワークで、共同でメートルスケールの3Dシーンと人間の再構築を行う。 我々のフレームワークは、シーン再構築とHMRとの違いを強く橋渡しします。 本モデルは,人間中心のシーン再構築における最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-01-03T16:06:27Z)
• MoRE: 3D Visual Geometry Reconstruction Meets Mixture-of-Experts [50.37005070020306]
  MoREは、Mixture-of-Experts (MoE)アーキテクチャに基づいた、密集した3Dビジュアル基盤モデルである。 MoREは、幾何推定を安定させ、洗練する信頼に基づく深度補正モジュールを組み込んでいる。 高忠実な表面正規予測のために,高密度なセマンティック特徴とグローバルな3Dバックボーン表現を統合する。
  論文  参考訳（メタデータ） (2025-10-31T06:54:27Z)
• Clone Deterministic 3D Worlds with Geometrically-Regularized World Models [16.494281967592745]
  エージェントが複雑でダイナミックな設定で効果的に思考、計画、理性を実現するためには、世界モデルが不可欠である。 急速な進歩にもかかわらず、現在の世界モデルは、長い地平線上で不安定で劣化している。 本稿では, 自然な知覚軌道に沿った連続点が潜在表現空間に近接しているような幾何学的正規化世界モデル(GRWM)を提案する。
  論文  参考訳（メタデータ） (2025-10-30T17:56:43Z)
• R2RGEN: Real-to-Real 3D Data Generation for Spatially Generalized Manipulation [74.41728218960465]
  本稿では,実世界のデータを生成するために,ポイントクラウド観測-アクションペアを直接拡張するリアルタイム3Dデータ生成フレームワーク(R2RGen)を提案する。 R2RGenは、広範な実験におけるデータの効率を大幅に向上させ、モバイル操作におけるスケーリングと応用の強い可能性を示す。
  論文  参考訳（メタデータ） (2025-10-09T17:55:44Z)
• RLGF: Reinforcement Learning with Geometric Feedback for Autonomous Driving Video Generation [75.61028930882144]
  この重要な問題を特定し定量化し,合成データと実データを用いた場合の3次元物体検出における顕著な性能差を示す。 本稿では,RLGFを用いた強化学習(Reinforcement Learning with Geometric Feedback, RLGF)を紹介する。 RLGFは幾何誤差(例えばVPエラーを21%、深さエラーを57%)を大幅に削減し、3Dオブジェクト検出のmAPを12.7%改善し、実際のデータ性能のギャップを狭める。
  論文  参考訳（メタデータ） (2025-09-20T02:23:36Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。