論文の概要: Rollout-Decoded Reconstruction for Long-Horizon Prediction in Latent World Models
- arxiv url: http://arxiv.org/abs/2608.25017v1
- Date: Tue, 25 Aug 2026 18:05:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.383707
- Title: Rollout-Decoded Reconstruction for Long-Horizon Prediction in Latent World Models
- Title（参考訳）: 潜時世界モデルにおける長軸予測のためのロールアウト復号化再構成
- Abstract要約: 潜在世界モデルは、観測に固定された潜水器でデコーダを訓練し、最後の観測から何百歩も経過したモデル自身のフリーランニングロールアウトに展開する。
ロールアウト・デコード・レコンストラクション(RDR)はこのギャップを、トレーニング中のモデルを正確に評価するようにフリーランする単一損失項で埋める。
- 参考スコア（独自算出の注目度）: 0.9740025522928777
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A latent world model trains its decoder on latents anchored to observations, then deploys it on the model's own free-running rollout, hundreds of steps past the last observation. Rollout-Decoded Reconstruction (RDR) closes this gap with a single loss term that free-runs the model during training exactly as evaluation will, decodes every rollout latent, and penalizes reconstruction error against ground truth. The term adds no parameters, costs training-time compute only, and reduces to the standard objective at weight zero, so every comparison in this paper is a one-flag A/B. On the chaotic Kuramoto-Sivashinsky equation, RDR raises valid prediction time (the time to first crossing of normalized error 0.5) from $3.87 \pm 0.23$ to $6.97 \pm 0.42$ time units at an identical 193,568 parameters, a $1.80\times$ improvement confirmed on seeds never used in selection and holding in 10 of 10 preregistered configurations at ratios of 1.71-2.50$\times$. The results come from a single system; a sweep in which the advantage grows with latent width is descriptive, and control experiments on two classic tasks are preliminary.
- Abstract（参考訳）: 潜在世界モデルは、観測に固定された潜水器でデコーダを訓練し、最後の観測から何百歩も経過したモデル自身のフリーランニングロールアウトに展開する。
ロールアウト・デコード・レコンストラクション(RDR)はこのギャップを、トレーニング中のモデルを正確に評価するようにフリーランする単一損失項で埋める。
この用語はパラメータを加味せず、トレーニング時間のみの計算に費やし、重量0の標準目標に還元するので、この論文における全ての比較は1フラグのA/Bである。
カオス的な倉本・シヴァシンスキー方程式では、RDRは有効な予測時間(正規化エラー0.5の初回通過までの時間)を3.87 \pm 0.23$から6.97 \pm 0.42$に引き上げ、193,568のパラメータで時間単位を割り当てる。
結果は単一のシステムから得られており、遅延幅で有利に成長するスイープは記述的であり、2つの古典的なタスクに対する制御実験は予備的である。
関連論文リスト
- Your VLM Already Knows When: Training-Free Temporal Grounding by Asking Yes or No [2.531680975633497]
イベントを確実に認識するマルチモーダルLLMは、いつ発生したかはいまだに言えない。
この失敗はタスクインターフェースに存在し、知覚にはないことを示す。
論文 参考訳（メタデータ） (2026-08-08T19:57:47Z) - Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。
我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。
この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
論文 参考訳（メタデータ） (2026-08-01T13:49:46Z) - Data Driven Block Replacement Scheduling [0.0]
我々は、テキストブロック置換ポリシーの下で、$N$独立同一マシンを維持するためのデータ駆動アルゴリズムを開発した。
目標は、寿命分布が不明な場合に運用データからコスト最小化間隔$k*$を学習することである。
補完的なKaplan-Meier更新アルゴリズムは、検閲されたデータから寿命分布を非センセーショナルに推定し、ほぼ確実にポリシーの整合性を達成し、長い地平線で経験的にほぼゼロに近い漸進的後悔を達成する。
論文 参考訳（メタデータ） (2026-07-16T17:31:15Z) - ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation [72.54604107217669]
textscpass@$k$は圧縮後にほぼ消滅するが、textscpass@$k$は繰り返しサンプリングの下でほぼ回復する。
回復は、密集したトークンレベルの監督の下で、圧縮されたモデル自身のオン政治状態で訓練すべきである。
我々は,教師が確認した反復接尾辞を検知する短時間のOPDスケジュールであるtextbfshortopdを提案する。
論文 参考訳（メタデータ） (2026-07-14T17:50:50Z) - ChainzRule: Sample-Efficient, Robust Deep Learning Across Tabular, NLP, and Vision Tasks [0.0]
エンタープライズドメイン全体にわたるディープラーニングシステムは、学術ベンチマークが不明瞭な制約の下で運用される。
本稿では、典型的なアクティベーションを微分正規化(DREG)によって制御される学習可能な層に置き換えるニューラルネットワークChainzRule(CR)を提案する。
CRは、ピマ糖尿病で85.71% pm 2.01%$、凍結エンコーダでSST-5の感情分類で46.20% pm 0.37%$、パラメータが3.2Mの完全順序回帰で70.17%$を達成している。
論文 参考訳（メタデータ） (2026-05-23T01:52:50Z) - Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization [58.14514930760722]
参加者が協力して大規模なニューラルネットワークを訓練し、提供する分散セットアップを検討する。
このセットアップでは、フルウェイトセットがどの参加者にも利用できないような、非機械的なウェイトの可能性を探る。
我々は、シャードモデルセットアップを利用するトレーニングおよび推論フレームワーク、Unextractable Protocol Models (UPMs)を紹介する。
論文 参考訳（メタデータ） (2026-05-22T10:24:57Z) - Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。
自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。
我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
論文 参考訳（メタデータ） (2026-05-14T20:27:32Z) - MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。
既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。
我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
論文 参考訳（メタデータ） (2026-05-07T16:20:42Z) - SOAR: Self-Correction for Optimal Alignment and Refinement in Diffusion Models [48.335262141752715]
拡散モデルのための後トレーニングパイプラインには、キュレートされたデータに対する教師付き微調整(SFT)と報酬モデルによる強化学習(RL)の2段階がある。
本稿では,このギャップを埋めるバイアス補正ポストトレーニング法であるSOAR(Self-Correction for Optimal Alignment and Refinement)を提案する。
オンライン政治であり、報酬なしであり、クレジット割り当ての問題なく、時間ごとの密集した監督を提供する。
論文 参考訳（メタデータ） (2026-04-14T11:45:15Z) - ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。
ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
論文 参考訳（メタデータ） (2025-12-01T09:44:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。