論文の概要: LpWM: A Case for Sparse Representations in World Models
- arxiv url: http://arxiv.org/abs/2608.22764v1
- Date: Mon, 24 Aug 2026 03:37:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 18:24:36.987767
- Title: LpWM: A Case for Sparse Representations in World Models
- Title（参考訳）: LpWM:世界モデルにおけるスパース表現の一事例
- Abstract要約: スパース表現は、動作条件付き潜在ダイナミクスをモデル化しやすくする。
我々は、Rectified Distribution Matching Regularization (RDMReg)で正規化されたJEPAモデルであるLpModelWorld(LpWM)を紹介する。
PushTでは、スパースLpWMは、中間予測能力で成功する計画において、高密度のLeWMを最大57%上回る。
- 参考スコア（独自算出の注目度）: 45.053365014723404
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Joint-embedding predictive architectures (JEPAs) learn latent dynamics for planning and avoid representation collapse by matching features to maximum-entropy distributions such as isotropic Gaussians, yielding dense representations. However, it is unclear whether dense representations are the most favorable geometry for modeling dynamics. In this work, we ask whether a different geometry, sparse representations, can make action-conditioned latent dynamics easier to model, and what dynamical structure emerges from such representations. We first show that nonlinear Lipschitz dynamics can be approximated arbitrarily well by action-conditioned linear dynamics in a sufficiently high-dimensional one-hot latent space, with rollout error vanishing as the dimension grows. This motivates distributed sparse representations as a practical relaxation of one-hot sparsity. We introduce LpWorldModel (LpWM), a JEPA model regularized with Rectified Distribution Matching Regularization (RDMReg) to match encoder features to a Rectified Generalized Gaussian distribution, yielding non-negative sparse codes. Empirically, sparsity lowers the predictor complexity required for successful planning: on PushT, sparse LpWM outperforms dense LeWM by up to 57% in planning success at intermediate predictor capacities. This advantage also extends beyond Gaussian distribution matching, with LpWM outperforming dense VICReg representations across multiple predictor families. We further find that the learned sparse representations are mode-factored, with support encoding discrete dynamical regimes and feature magnitudes capturing continuous within-regime state. Together, these results suggest that sparse representations can reduce the predictor complexity required for control while revealing interpretable structure.
- Abstract（参考訳）: JEPA(Joint-embedding Predictionive Architecture)は、等方的ガウス分布のような最大エントロピー分布に一致する特徴によって表現の崩壊を計画し回避するための潜在力学を学習し、密度の表現をもたらす。
しかし、密度表現が力学をモデル化するのに最も好ましい幾何学であるかどうかは不明である。
本研究では、異なる幾何学的表現であるスパース表現が、動作条件付き潜在力学をモデル化しやすくするかどうか、そしてそのような表現から動的構造が現れるのかを問う。
まず, 非線形リプシッツ力学は, 十分に高次元の1ホット潜在空間における作用条件線形力学により任意に近似できることを示し, 寸法が大きくなるにつれてロールアウト誤差は消滅する。
これは分散スパース表現を1ホット空間の実践的緩和として動機付けている。
我々は,正規化分布マッチング正規化(RDMReg)で正規化されたJEPAモデルであるLpWorldModel(LpWM)を導入し,エンコーダ特徴を正規化一般化ガウス分布にマッチングし,非負のスパース符号を生成する。
PushTでは、疎LpWMは、中間予測能力での計画成功率を最大57%向上させる。
この利点はガウス分布マッチングを超えて拡張され、LpWMは複数の予測ファミリ間で密度の高いVICReg表現よりも優れている。
さらに、学習されたスパース表現は、離散的な動的レジームを符号化し、連続的なレジスタ内状態をキャプチャする特徴量をサポートして、モードリファクタリングされていることが判明した。
これらの結果から,スパース表現は解釈可能な構造を明らかにしつつ,制御に必要な予測器の複雑さを減少させる可能性が示唆された。
関連論文リスト
- The Hyperspherical Geometry of CLIP Latent Space: A Semantic Mixture Model [73.29820477295043]
Contrastive Language-Image Pretraining (CLIP) 表現は、コサイン類似性によって支配されるセマンティック埋め込み空間を形成する。
本稿では,MovMF(MovMF)分布の混合に基づくCLIP潜伏空間の原理密度モデルを提案する。
論文 参考訳（メタデータ） (2026-07-15T10:05:53Z) - ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model [53.15040805435013]
視覚言語モデル(VLM)は、一様にサンプリングされたフレームを解析することで、強力なセマンティックグラウンドと一般的な知識を提供する。
本稿では,高密度フレーム・ダイナミックス・モデリングと長軸意味指導を組み合わせたVLM誘導型JEPA型潜在世界モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-23T17:59:42Z) - Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations [53.61624356747686]
JEPA(Joint-Embedding Predictive Architectures)は、ビュー不変表現を学習し、崩壊防止のためのプロジェクションベースの分布マッチングを認める。
既存のアプローチは、等方的ガウス分布に対する表現を正則化するが、本質的には密度表現を好んでおり、効率的な表現で観察されるスパーシティの重要な性質を捉えることができない。
本稿では,Rectified Generalized Gaussian(RGG)分布に表現を整合させる2サンプル分布整合損失であるRDMRegを導入する。
論文 参考訳（メタデータ） (2026-02-01T21:49:30Z) - Predicting Forced Responses of Probability Distributions via the Fluctuation-Dissipation Theorem and Generative Modeling [0.0]
非線形系の高次モーメントの小さな外乱に対する応答を推定するためのデータ駆動型フレームワークを提案する。
GFDTとスコアベース生成モデルを組み合わせて,データから直接システムのスコア関数を推定する。
本手法は, 気候動態に関するいくつかのモデルを用いて検証した。
論文 参考訳（メタデータ） (2025-04-17T20:54:33Z) - Expectation propagation for the smoothing distribution in dynamic probit [1.6114012813668932]
ガウス状態ダイナミクスを持つ動的プロビットモデルの滑らかな分布は、最近、統一スキュー正規族に属することが証明された。
このような分布の推論を行うための効率的なEPルーチンを導出する。
提案手法は,財務図解において,利用可能な近似アルゴリズムよりも精度が高くなることを示す。
論文 参考訳（メタデータ） (2023-09-04T14:49:45Z) - Sparse Model Soups: A Recipe for Improved Pruning via Model Averaging [24.64264715041198]
Sparse Model Soups (SMS) は,各プルー・リトレインサイクルを前フェーズから平均モデルに開始することでスパースモデルをマージする新しい手法である。
SMSはスパース性を保ち、スパースネットワークの利点を悪用し、モジュール化され、完全に並列化可能であり、IMPのパフォーマンスを大幅に改善する。
論文 参考訳（メタデータ） (2023-06-29T08:49:41Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳（メタデータ） (2023-05-22T12:18:20Z) - PAC Reinforcement Learning for Predictive State Representations [60.00237613646686]
部分的に観察可能な力学系におけるオンライン強化学習(RL)について検討する。
我々は、他のよく知られたモデルをキャプチャする表現モデルである予測状態表現(PSR)モデルに焦点を当てる。
我々は,サンプル複雑性のスケーリングにおいて,ほぼ最適なポリシを学習可能な,PSRのための新しいモデルベースアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-07-12T17:57:17Z) - Generative Model without Prior Distribution Matching [26.91643368299913]
変分オートエンコーダ(VAE)とその変分は、いくつかの先行分布を満たすために低次元の潜在表現を学習することによって古典的な生成モデルである。
我々は、先行変数に適合させるのではなく、先行変数が埋め込み分布と一致するように提案する。
論文 参考訳（メタデータ） (2020-09-23T09:33:24Z) - Stochastic spectral embedding [0.0]
確率スペクトル埋め込み(SSE)に基づく新しい逐次適応サロゲートモデリング法を提案する。
本手法は,複雑性と入力次元の異なるモデルの集合上で,最先端のスパースカオス展開に対して,どのように好意的に比較されるかを示す。
論文 参考訳（メタデータ） (2020-04-09T11:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。