論文の概要: Checkpoint Reload Explains Most of the Measured State Gap in Two State Discovery Reproductions

• arxiv url: http://arxiv.org/abs/2610.34891v1
• Date: Mon, 26 Oct 2026 06:12:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.770483
• Title: Checkpoint Reload Explains Most of the Measured State Gap in Two State Discovery Reproductions
• Title（参考訳）: Checkpoint Reloadが2つのステートディスカバリ再現で計測された状態ギャップの大半を説明
• Abstract要約: トレーニング中にシーケンス毎の潜伏状態を維持する一時的なモデルは、推論時に格納されたテーブルが利用できないときに、それらの状態を再構築する必要がある。 本研究では,世界機械におけるステートディスカバリー(State Discovery in World Machine)の課題について検討する。これは各エポック毎に並列に保存された状態を更新するが,全ゼロスタートからの逐次ロールアウトによる推論を行う。
• 参考スコア（独自算出の注目度）: 0.614481021961242
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Temporal models that maintain per-sequence latent states during training must reconstruct those states when the stored table is unavailable at inference. This creates a basic consistency question: do the reconstructed states agree with those formed during training? We study this question for State Discovery in World Machine, which updates stored states in parallel each epoch but performs inference by sequential rollout from an all-zero start. On Toy1D, we analyze two paired-checkpoint runs whose decoded-state MSE is 27 to 36 percent above the published value. We compare the stored table with rollouts under the best-validation checkpoint reloaded after training and the last-epoch weights that wrote the table. Matching the rollout to the table-writing weights removes 90 to 91 percent of the mean per-dimension Wasserstein-1 distance. Causal distillation and frozen SD updates do not satisfy their pre-specified criteria under either checkpoint. Overall, checkpoint reload accounts for most of the measured gap in these runs.
• Abstract（参考訳）: トレーニング中にシーケンス毎の潜伏状態を維持する一時的なモデルは、推論時に格納されたテーブルが利用できないときに、それらの状態を再構築する必要がある。 再構築された状態は、トレーニング中に形成されたものと一致しているか? 本研究では,世界機械におけるステートディスカバリー(State Discovery in World Machine)の課題について検討する。これは各エポック毎に並列に保存された状態を更新するが,全ゼロスタートからの逐次ロールアウトによる推論を行う。 Toy1Dでは、復号状態MSEが公開値より27～36%高い2つのペアチェックポイント実行を解析する。 保存したテーブルと、トレーニング後に再ロードされたベストバリデーションチェックポイントのロールアウトと、テーブルを書いた最後のエポジカルウェイトとを比較した。 ロールアウトをテーブルライティングの重量に合わせると、平均1次元のワッサースタイン-1距離の90%から91%が取り除かれる。 因果蒸留と凍結SD更新は、どちらのチェックポイントの下でも、所定の基準を満たしていない。 全体として、チェックポイントのリロードは、これらの実行における測定されたギャップの大部分を担います。

関連論文リスト

• ReplaySSM: Cache SSM Inputs, Not State [19.087459386214885]
  状態空間モデル(SSM)は固定サイズのリカレント状態を維持しているが、復号ステップ毎に読み書きすることでハイブリッドモデルをボトルネックにすることができる。 ReplaySSMを導入し、最近のSSM入力のチェックポイントとバッファとして状態を表すために再帰をアンロールする。 We implement ReplaySSM in vLLM for Mamba-2 and Gated DeltaNet。
  論文  参考訳（メタデータ） (2026-10-09T15:59:40Z)
• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• Validating Hybrid-State Cache Recovery for GLM-5.3-Flash with vLLM and LMCache [6.185334606321749]
  ハイブリッド言語モデルが一貫性のない状態から再開している間、外部キャッシュ転送が成功する。 既存のチェックポイントアライメント原理を45層GLM-5.3-Flashモデルに適用する。
  論文  参考訳（メタデータ） (2026-09-14T04:46:09Z)
• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
  Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。 一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
  論文  参考訳（メタデータ） (2026-07-30T16:41:40Z)
• Do Models Read What They Write? Causal Registers in Scratchpad Reasoning [2.61135281451375]
  制御された状態追跡タスクと既知の更新ルールを使用して、この要件をテストする。 我々は、可視的スクラッチパッドのテキストを固定しながら、1つの書き込み状態の内部表現を編集する。 Qwen2.5-Coder-7Bでは、状態記述モデルは、編集された状態によって入力される次のフェーズビットを、保持されたサンプルの80%と91%で予測する。
  論文  参考訳（メタデータ） (2026-06-28T17:32:59Z)
• Can Transformers Learn to Verify During Backtracking Search? [5.709908922073304]
  バックトラック探索は古典的な制約解決者、プランナー、定理証明者の基礎となる。 最近の変圧器に基づく推論システムは, 探索木を自身の中間ステップで探索する。 累積トレースで訓練されたデコーダのみの変換器は、この要件を2つの方法で満たさないことを示す。
  論文  参考訳（メタデータ） (2026-05-21T09:26:01Z)
• OpenPI-C: A Better Benchmark and Stronger Baseline for Open-Vocabulary State Tracking [55.62705574507595]
  OpenPIは、オープン語彙状態トラッキング用に注釈付けされた唯一のデータセットである。 手順レベル,ステップレベル,状態変化レベルの3つの問題を分類する。 評価指標として,クラスタベースの計量法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T16:48:20Z)
• The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
  事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。 我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。 目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
  論文  参考訳（メタデータ） (2021-06-30T15:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。