論文の概要: Temporally Centered SIGReg Improves Multi-Task LeWorldModel Learning: From Analysis to Method
- arxiv url: http://arxiv.org/abs/2607.26924v2
- Date: Fri, 31 Jul 2026 16:12:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.290044
- Title: Temporally Centered SIGReg Improves Multi-Task LeWorldModel Learning: From Analysis to Method
- Title（参考訳）: 時間中心SIGRegによるマルチタスクLeWorldModel学習の改善:分析からメソッドへ
- Abstract要約: 限界ガウス化はタスク依存潜在クラスタ間の分離を圧縮することを示す。
この問題に対処するために, SIGReg を時間中心の残留物に適用する。
本手法は,ロングホライゾンスイートのダウンストリーム成功率を1.7倍に向上させ,4スイートの平均成功率を53.2%から73.6%に引き上げる。
- 参考スコア（独自算出の注目度）: 35.288206438331436
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work on LeWorldModel (LeWM) has shown that the Sketched Isotropic Gaussian Regularizer (SIGReg) enables stable end-to-end world-model learning from pixels by regularizing the latent marginal distribution toward an isotropic Gaussian, thereby preventing representation collapse. While effective and elegant in single-task settings, this recipe does not extend reliably to multi-task training, leading to substantially worse downstream behavior-cloning performance. In this paper, we show that marginal Gaussianization compresses the separation between task-dependent latent clusters relative to within-cluster variation. This compression introduces representation aliasing across tasks and states, and makes the learned representations highly sensitive to small visual perturbations. To address this problem, we apply SIGReg to temporally centered residuals rather than to the latent marginal distribution. This surrogate target places no direct regularization pressure on the separation among cluster centers, removes the requirement that the full latent follow a single isotropic Gaussian, and retains the anti-collapse effect of SIGReg. On the LIBERO benchmark, our method improves downstream success on the long-horizon suite by 1.7x and raises the average success rate across four suites from 53.2% to 73.6%. Without external pretraining, it slightly outperforms Diffusion Policy trained from scratch and approaches the performance of large-scale pretrained policy baselines. These results reveal a structural incompatibility between marginal Gaussian priors and multi-task latent structure, and provide a simple route toward stable and scalable end-to-end multi-task world-model learning.
- Abstract（参考訳）: LeWorldModel (LeWM) の最近の研究により、Sketched Isotropic Gaussian Regularizer (SIGReg) は、不等方ガウス分布を非等方ガウス分布に規則化することにより、画素からエンド・ツー・エンドのワールドモデル学習を可能にすることが示されている。
シングルタスク設定では効果的でエレガントだが、このレシピはマルチタスクトレーニングに確実に拡張されないため、ダウンストリームの動作閉鎖性能は著しく悪化する。
本稿では,限界ガウス化がクラスタ内変動に対するタスク依存潜在クラスタ間の分離を圧縮することを示す。
この圧縮は、タスクや状態にまたがる表現エイリアスを導入し、学習された表現を小さな視覚摂動に非常に敏感にする。
この問題に対処するために, SIGReg を時間中心の残留物に適用する。
このサロゲートターゲットは、クラスター中心間の分離に対して直接正則化圧力を課さず、完全な潜水剤が単一の等方性ガウスに従わなければならないという要求を取り除き、SIGRegの反崩壊効果を維持する。
LIBEROベンチマークでは、ロングホライゾンスイートのダウンストリーム成功率を1.7倍に改善し、4スイートの平均成功率を53.2%から73.6%に引き上げる。
外部の事前訓練なしでは、ディフュージョン・ポリシーをスクラッチからトレーニングし、大規模な事前訓練された政策ベースラインのパフォーマンスにアプローチする。
これらの結果から,ガウス先行とマルチタスク潜在構造の間の構造的不整合性を明らかにし,安定かつスケーラブルなマルチタスク・ワールドモデル学習への簡単な経路を提供する。
関連論文リスト
- Hierarchical Exponential-Gaussian Mixtures for Watch-Time Distribution Prediction [74.05279072166697]
Exponential-Gaussian Mixture Network (EGMN) は完全な条件WT分布をモデル化する。
EGMNは分散崩壊、コンポーネントの冗長性、不活性成分に弱い。
本稿では,これらの故障モードに対処する階層型指数-ガウス混合(HEGM)モデルを提案する。
論文 参考訳（メタデータ） (2026-08-24T15:06:18Z) - Expanding SPHERE-JEPA: A Family of Statistical Regularizers for the Hypersphere [11.087393998848254]
SSL(Self-Supervised Learning)では,単位超球面上の一様分布を明示的に強制することにより,表現の崩壊を防止することが実証された。
現在のフレームワークは通常、SIGReg(LeJEPAで使用される)やSUSReg(SPHEREJEPAで使用される)のようなスライスされた統計正規化器に依存している。
これにより、トレーニング勾配にプロジェクションのばらつきを注入し、最適化を安定化させ、収束を妨げる。
本研究では,これらのランダムな射影を解析的に統合することにより,決定論的最大平均離散性(MMD)が得られ,スライスされた手法のばらつきを回避できることを示す。
論文 参考訳（メタデータ） (2026-06-16T07:10:05Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training [56.323119575322146]
Extra-Mergeは、GPT-2およびLLaMAファミリーにわたる実験において、標準のマージベースラインを一貫して上回っている。
Pythia-12B下流のタスクに対して一貫したゼロショット精度のゲインを与え、Muon citepjordan2024muonに効果的に一般化する。
論文 参考訳（メタデータ） (2026-05-26T02:48:34Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - Weak-SIGReg: Covariance Regularization for Stable Deep Learning [0.0]
この研究は、最近LeJEPAの自己教師型フレームワークで導入されたSketched Isotropic Gaussian Regularization (SIGReg)を採用し、教師付き学習のための一般的な最適化安定化器として再利用している。
SIGRegは表現密度を等方性ガウスに対して制限し、このドリフトを緩和する。
SIGRegはアーキテクチャハックなしで20.73%から72.02%の精度でCIFAR-100上でのViTトレーニングを回復し、純粋なSGDでトレーニングされた深いバニラの収束を大幅に改善する。
論文 参考訳（メタデータ） (2026-03-06T05:32:40Z) - Functionality-Oriented LLM Merging on the Fisher--Rao Manifold [14.349284217707575]
重み空間のマージは、複数の微調整LDMを再訓練せずに単一のモデルに組み合わせることを目的としている。
我々は,標準を守り,マルチエキスパートマージに直接一般化する軽量な球面プロキシを用いて,実用的な固定点アルゴリズムを導出する。
論文 参考訳（メタデータ） (2026-03-05T09:08:38Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - Meta-Learning Adversarial Bandits [49.094361442409785]
本研究の目的は,複数のタスクにまたがる帯域幅フィードバックを用いてオンライン学習を学習し,タスク間の平均性能を改善することである。
敵対的設定を最初に対象とするメタアルゴリズムとして,マルチアーム・バンディット(MAB)とバンディット・最適化(BLO)の2つの重要なケースに対して,特定の保証を設定するメタアルゴリズムを設計する。
我々の保証は、非正規化されたフォローザリーダーと乗法重みを組み合わせることで、オンラインで非滑らかで非Bシーケンスを学ぶのに十分であることを示すことに依存しています。
論文 参考訳（メタデータ） (2022-05-27T17:40:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。