論文の概要: No Gaussian Required: Contrastive Inverse Dynamics for JEPA World Models

• arxiv url: http://arxiv.org/abs/2608.17542v1
• Date: Tue, 18 Aug 2026 09:03:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.280488
• Title: No Gaussian Required: Contrastive Inverse Dynamics for JEPA World Models
• Title（参考訳）: No Gaussianが不要:JEPAワールドモデルのための対照的な逆ダイナミクス
• Abstract要約: JEPA(Joint-Embedding Predictive Architectures)は、将来の埋め込みを予測することで世界モデルを学ぶ。 すべての実用システムは、反崩壊機構を追加します。 我々は、反崩壊圧は移行データ自体から得ることができると主張している。
• 参考スコア（独自算出の注目度）: 2.506624215459612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Joint-Embedding Predictive Architectures (JEPAs) learn world models by predicting future embeddings, but the objective admits a trivial solution of a constant encoder, so every practical system adds an anti-collapse mechanism (LeCun, 2022; Assran et al., 2023; Bardes et al., 2022; 2024). LeWorldModel (LeWM) prevents collapse with SIGReg, a regularizer that forces the latent distribution to match an isotropic Gaussian: the representation is stabilized by prescribing what it must look like, independently of the environment it models. We argue that the anti-collapse pressure can instead come from the transition data itself. Action-Contrastive Masked Transition Modeling (AC-MTM) keeps LeWM's forward latent-prediction objective and adds a training-only inverse-dynamics head trained with Action-NCE: each latent transition must identify the action that produced it among the other actions in the batch, a discrimination task that a collapsed encoder provably fails. The inverse branch is discarded after training, leaving test-time encoding, forward prediction, planning, and compute identical to LeWM. On four standard pixel-control tasks under a matched planning protocol, AC-MTM trains stably from scratch and matches SIGReg on average. On the harder multi-object OGBench Visual Scene task, results are consistent with the prescribed geometry becoming a bottleneck: AC-MTM reaches 80.0$\pm$2.0% success versus 58.0$\pm$2.0% for SIGReg, improving by 20-24 points in each training seed. A single 50-episode random-policy run gives a 52% baseline estimate. Contrastive inverse dynamics thus provides a distribution-free anti-collapse signal that requires no target network, stop-gradient, pretrained encoder, or reconstruction objective, and we characterize the action-space and observability assumptions under which it holds. We make our code available at https://github.com/jackboyla/action-contrastive-jepa
• Abstract（参考訳）: JEPA(Joint-Embedding Predictive Architectures)は、将来の埋め込みを予測することで世界モデルを学習するが、その目的は一定エンコーダの自明な解を認めるため、すべての実用システムは反崩壊機構を追加する(LeCun, 2022; Assran et al , 2023; Bardes et al , 2022; 2024; 2024)。 LeWorldModel (LeWM) は、正則化器であるSIGReg (SIGReg) との崩壊を防ぐ。 我々は、反崩壊圧は移行データ自体から得ることができると主張している。 Action-Contrastive Masked Transition Modeling (AC-MTM)は、LeWMの前方遅延予測目標を維持し、Action-NCEでトレーニングされたトレーニング専用逆ダイナミクスヘッドを追加する。 逆ブランチはトレーニング後に破棄され、テストタイムエンコーディング、前方予測、計画、LeWMと同じ計算が残される。 マッチした計画プロトコルの下での4つの標準的なピクセル制御タスクでは、AC-MTMはスクラッチから安定してSIGRegにマッチする。 AC-MTMは80.0$\pm$2.0%、SIGRegは58.0$\pm$2.0%に達する。 50エピソードのランダム・ポリシー・ランは52%のベースライン推定を与える。 コントラスト的逆ダイナミクスは、ターゲットネットワーク、停止勾配、事前訓練されたエンコーダ、あるいは再構成目的を必要としない分布自由な反崩壊信号を提供し、その動作空間と観測可能性の仮定を特徴付ける。 コードはhttps://github.com/jackboyla/action-contrastive-jepaで公開しています。

関連論文リスト

• Schema-Adaptive Action-Conditioned JEPA for Cross-Machine CNC Transfer under Partial Sensor Overlap [0.0]
  産業の世界モデルのクロスマシン展開には、ダイナミックス、センシングインターフェース、サンプリングレジーム、制御ユニットの変更をまたぐ移動が必要である。 CNC力学のためのスキーマ適応型動作条件付き共同組込み予測アーキテクチャ (SAAC-JEPA) について検討する。 評価には、グループ分離ソース分割、ソースのみの正規化、自己監督型バリデーションの保持、ユニット監査、モデルロック後のシールされたターゲットテストを使用する。
  論文  参考訳（メタデータ） (2026-09-13T15:10:06Z)
• GaussianDream++: Efficient 3D Gaussian World Modeling for Robotic Manipulation [55.47130289185285]
  VLA(Vision-Language-Action)ポリシーは、高度な言語条件のロボット操作である。 我々は textbfWorld State Tokens と textbfWorld Prediction Tokens を VLA バックボーンに直接挿入する,コンパクトでポリシーネイティブな拡張である textbfMethodname を提示する。
  論文  参考訳（メタデータ） (2026-08-26T11:41:55Z)
• Sensorimotor World Models: Perception for Action via Inverse Dynamics [59.121736411156384]
  Inverse dynamics regularization で訓練されたエンド・ツー・エンドのセンサモレータ・ワールドモデルを導入する。 表現の崩壊を防ぎ、アクション整列表現を誘導する。 コンパクトで解釈可能な潜在空間を学習し、単純な2Dおよび3D制御タスク間の競合計画性能を実現する。
  論文  参考訳（メタデータ） (2026-06-18T11:25:16Z)
• Diffusion Transformer World-Action Model for AV Scene Prediction [0.0]
  アクションコンディショニングされた世界モデルは、自動運転車が将来のカメラシーンを独自のコントロールから予測することを可能にする。 しかし、コンパクトで訓練可能なスケールでは、未来は曖昧であり、フィールドの標準歪み指標は積極的に誤解を招く。 我々はこれを、冷凍デコーダが最大256倍256ドルフレームを最大8秒前にレンダリングする将来のシーンの潜伏を予測するコンパクトな潜伏世界モデルと対決する。
  論文  参考訳（メタデータ） (2026-06-11T07:24:12Z)
• UWM-JEPA: Predictive World Models That Imagine in Belief Space [0.2864713389096699]
  本稿では,JEPAの世界モデルであるUnitary World Model JEPAを紹介した。 この構造はロールアウト中に関節状態スペクトルを正確に保存するため、予測器自体が表現された不確かさを解消することはできない。 JEPAの世界モデルでは、部分的な可観測性、潜伏幾何学、予測力学が重要であり、フリーズされたコンテキストエンコーディング能力だけではありません。
  論文  参考訳（メタデータ） (2026-05-25T00:28:51Z)
• Grounded World Model for Semantically Generalizable Planning [94.53923128709965]
  我々は、視覚言語対応の潜在空間において、グラウンドドワールドモデル(GWM)を学習する。 提案された各アクションは、タスク命令に対する将来の結果がどの程度近いかに基づいてスコアされる。 提案したWISERベンチマークでは、GWM-MPCはテストセットで87%の成功率を達成した。
  論文  参考訳（メタデータ） (2026-04-13T17:25:41Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels [49.35636088613484]
  JEPA(Joint Embedding Predictive Architectures)は、コンパクトな潜在空間で世界モデルを学習するための魅力的なフレームワークを提供する。 最初のJEPAであるLeModelWorldを紹介します。 数時間で1つのGPU上で15万のパラメータをトレーニングできるため、LeWMはファンデーションモデルベースの世界モデルよりも48倍高速に計画している。
  論文  参考訳（メタデータ） (2026-03-13T19:48:14Z)
• Beyond Reward Suppression: Reshaping Steganographic Communication Protocols in MARL via Dynamic Representational Circuit Breaking [0.0]
  監視を回避するためのプライベートプロトコルを開発するエージェントによるステガノグラフィーの共謀は、AIの安全性に重大な脅威をもたらす。 既存の防御は行動層や報酬層に限られており、潜伏する通信路での調整を検知できない。 本稿では,動的表現回路ブレーカ(DRCB)について紹介する。
  論文  参考訳（メタデータ） (2026-03-07T04:14:38Z)
• Weak-SIGReg: Covariance Regularization for Stable Deep Learning [0.0]
  この研究は、最近LeJEPAの自己教師型フレームワークで導入されたSketched Isotropic Gaussian Regularization (SIGReg)を採用し、教師付き学習のための一般的な最適化安定化器として再利用している。 SIGRegは表現密度を等方性ガウスに対して制限し、このドリフトを緩和する。 SIGRegはアーキテクチャハックなしで20.73%から72.02%の精度でCIFAR-100上でのViTトレーニングを回復し、純粋なSGDでトレーニングされた深いバニラの収束を大幅に改善する。
  論文  参考訳（メタデータ） (2026-03-06T05:32:40Z)
• Multistep Inverse Is Not All You Need [87.62730694973696]
  実世界の制御環境では、観測空間は不要に高次元であり、時間関連ノイズにさらされることが多い。 したがって、観測空間を制御関連変数のより単純な空間にマッピングするエンコーダを学ぶことが望ましい。 本稿では,多段階逆予測と遅延フォワードモデルを組み合わせた新しいアルゴリズムACDFを提案する。
  論文  参考訳（メタデータ） (2024-03-18T16:36:01Z)
• Consistent-Teacher: Towards Reducing Inconsistent Pseudo-targets in Semi-supervised Object Detection [28.40887130075552]
  擬似ターゲットは正確な検出器の訓練を損なう。 生徒のトレーニングにノイズを注入し、過度な過度な問題を引き起こす。 不整合を低減するために,ConsistentTeacherと呼ばれる体系的ソリューションを提案する。
  論文  参考訳（メタデータ） (2022-09-04T10:21:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。