論文の概要: MoP-JEPA: Hard-Assigned Predictor Mixtures for Stochastic JEPA World Models
- arxiv url: http://arxiv.org/abs/2607.05238v1
- Date: Mon, 06 Jul 2026 15:47:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.227836
- Title: MoP-JEPA: Hard-Assigned Predictor Mixtures for Stochastic JEPA World Models
- Title(参考訳): MoP-JEPA: 確率的JEPA世界モデルのためのハードアサイン型予測器
- Authors: Zhi Song, Ximing Xing, Zhenchao Tang, hanbo Huang, Tianxu Lv, minghao Yang, Zhongzheng Niu, He Bing, Lusheng Wang, Jianhua Yao,
- Abstract要約: JEPAワールドモデルは、潜時回帰によってトレーニングされた単一の決定論的予測器で次の潜時状態を予測します。
環境が分岐しているときに構造的に失敗することを示す。
我々は、MoP-JEPAのハードアサイン予測器が遷移分布の量子化器に収束することを証明した。
- 参考スコア(独自算出の注目度): 12.290764474660103
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: JEPA world models predict the next latent state with a single deterministic predictor trained by latent regression. We show that this fails structurally when the environment is stochastic: at a branching transition, the regression-optimal predictor outputs the conditional mean of the successor embeddings, a point between the true next states that corresponds to no state at all. We prove this collapse for deterministic and gated mixture-of-experts predictors, and prove that MoP-JEPA's hard-assigned predictors converge instead to a quantizer of the transition distribution: one head per successor mode, enumerable in a single forward pass, which is the interface a planner consumes. On official OGBench offline data with leak-free evaluation, planning over single-predictor rollouts performs poorly ($0.02$--$0.09$ success) while planning over our predicted modes reaches up to $0.85$, ahead of deterministic, gated-MoE, and variational predictors on every task. Because multi-prediction evaluation invites coverage freeloading, a verification protocol is part of the method: an input-agnostic codebook control, a shuffled-context test, router-gated readouts, transition-precision guards, and a verified-route criterion in which the model proposes its transition graph blind and ground truth is used only to check the result. Under this criterion our method outperforms the strongest soft alternative on all three mazes ($2$--$5\times$), and the protocol identifies the remaining gap in that baseline's raw scores as routes through predicted transitions that do not exist. The same model executes in the real environment, placing second of seven against the published OGBench baselines on the hardest maze. Multimodal dynamics decide whether a JEPA world model can plan at all; a mixture of predictors with hard assignment is a minimal and verifiable fix.
- Abstract(参考訳): JEPAワールドモデルは、潜時回帰によってトレーニングされた単一の決定論的予測器で次の潜時状態を予測します。
分岐遷移において、回帰最適予測器は後続の埋め込みの条件平均を出力する。
我々は,この崩壊を,決定論的・有界混合予測器で証明し,MoP-JEPAのハードアサイン予測器が遷移分布の量子化器に収束することを証明する。
公式のOGBenchオフラインデータによるリークフリー評価では、単一予測器のロールアウトの計画が不十分な(0.02$--0.09$成功)一方で、予測モードの計画が、決定論的、ゲート-MoE、およびすべてのタスクにおける変動予測に先立って最大0.85$に達する。
入力非依存のコードブック制御、シャッフル・コンテクストテスト、ルータ・ゲート・リードアウト、トランジッション・精密ガード、そしてモデルが遷移グラフを盲点に提案する検証時間規準のみを使用して結果をチェックする。
この基準の下では、我々の手法は3つの迷路($2$--$5\times$)において最強のソフトな代替手段よりも優れており、このプロトコルは、ベースラインの生スコアの残りのギャップを、存在しない予測遷移の経路として識別する。
同じモデルが実際の環境で実行され、7つのうち2つが発行されたOGBenchベースラインに対して最も難しい迷路に対して配置される。
マルチモーダルダイナミクスはJEPAの世界モデルが計画できるかどうかを判断する。
関連論文リスト
- Predictive Objectives Discard Exogenous Control-Relevant Features: A Controlled Mechanistic Study [0.0]
共同埋め込み予測(JEPA)の目的は、将来の潜伏者を予測することによって表現を学ぶことである。
これは、制御関連性よりも時間的予測可能性の最適化が目的であるからである。
報酬ラベル付き遷移の2%がこの機能を回復すると、その効果は2つの環境にまたがることがわかった。
論文 参考訳(メタデータ) (2026-06-29T10:00:50Z) - Rethinking Training & Inference for Forecasting: Linking Winner-Take-All back to GMMs [48.245159309501666]
自律走行のための軌道予測は急速に進歩しているが、代表モデルはしばしば予測モードよりも非形式的な後部を生成する。
我々は、この K-平均的なハード割当 (one-hot) が非形式的モード確率の源であると主張する。
当科では,(1)近隣の候補軌跡を集約するテストタイム後方重み付け,(2)1段階の予測最大化(EM)更新の2つの治療方法を紹介した。
論文 参考訳(メタデータ) (2026-06-24T22:26:43Z) - PRISM: PRior-guided Imagination Sampling in world Models [7.304186330343712]
PRISMは1つのデータセットから両方を抽出するタスクに依存しないフレームワークである。
PRISMは、Cube上のバニラワールドモデルベースのMPCよりも35パーセント、PushTでは32パーセント、成功率を改善する。
論文 参考訳(メタデータ) (2026-06-06T04:18:10Z) - Active Multiple-Prediction-Powered Inference [2.1710524042938073]
医療のデプロイ後のモニタリングには統計的に有効なラベル効率の方法が必要であるが、クリニックチャートのゴールドスタンダードラベルは高価である。
我々は,各インスタンスをコスト適切な予測器にルーティングし,金標準ラベルを比例してサンプリングし,単一のデプロイ時間に予測を再現する予測能動型推論(AM-PPI)を提案する。
論文 参考訳(メタデータ) (2026-05-08T19:48:57Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳(メタデータ) (2026-04-20T13:25:40Z) - Agentic World Modeling for 6G: Near-Real-Time Generative State-Space Reasoning [70.56067503630486]
第6世代(6G)インテリジェンスは、流動的なトークン予測ではなく、想像と選択の能力を校正している、と我々は主張する。
We showed that WM-MS3M cuts mean absolute error (MAE) by 1.69% vs MS3M with 32% less parameters and similar latency, and achieve a 35-80% lower root mean squared error (RMSE) than attention/hybrid baselines with 2.3-4.1x faster inference。
論文 参考訳(メタデータ) (2025-11-04T17:22:22Z) - One Sample is Enough to Make Conformal Prediction Robust [53.78604391939934]
共形予測は, 1つのランダムな摂動入力に対して前方通過しても, ある程度の堅牢性が得られることを示す。
提案手法は,入力毎に多数のパス(例えば100回程度)を使用するSOTA法と比較して,平均セットサイズが小さいロバストな集合を返す。
論文 参考訳(メタデータ) (2025-06-19T19:14:25Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳(メタデータ) (2024-05-29T01:32:17Z) - Collaborative Uncertainty Benefits Multi-Agent Multi-Modal Trajectory Forecasting [61.02295959343446]
この研究はまず、相互作用モジュールから生じる不確実性をモデル化する新しい概念であるコラボレーティブ不確実性(CU)を提案する。
我々は、回帰と不確実性推定の両方を行うために、元の置換同変不確かさ推定器を備えた一般的なCU対応回帰フレームワークを構築した。
提案するフレームワークを,プラグインモジュールとして現在のSOTAマルチエージェント軌道予測システムに適用する。
論文 参考訳(メタデータ) (2022-07-11T21:17:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。