論文の概要: PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking

• arxiv url: http://arxiv.org/abs/2610.27628v1
• Date: Tue, 20 Oct 2026 04:54:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.637551
• Title: PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking
• Title（参考訳）: PAR:状態追跡における長さ一般化のためのプログレッシブアライズド・リカレンス
• Abstract要約: シーケンシャルな状態トラッキングでは、最終回答の監督は、各イテレーションがどれくらい進むべきかを規定していない。 textbfProgress-Aligned Recurrence (PAR)を導入し、最初の$k$操作後に状態を一致させるために$k$で予測をトレーニングする。 スワップ-S_5$では、Qwen2.5-0.5Bモデルが少なくとも32回の移動で訓練され、512回の移動で95.5%の完全状態精度が得られる。
• 参考スコア（独自算出の注目度）: 22.121237558061537
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped language models can run more iterations at test time, but additional iterations need not help them solve longer problems. For sequential state tracking, final-answer supervision does not specify how far each iteration should advance, and repeated updates can change the scale of the recurrent state. We introduce \textbf{Progress-Aligned Recurrence (PAR)}, which trains the prediction at iteration $k$ to match the state after the first $k$ operations and rescales recurrent states to their first-iteration norms. On swap-$S_5$, a Qwen2.5-0.5B model trained on at most 32 moves achieves 95.5\% mean full-state accuracy at 512 moves, or $16\times$ the training length, compared with 55.7\% reported for RLT and 0.8\% for explicit chain of thought on the same backbone. Controlled $S_5$ ablations show that removing norm anchoring reduces the extrapolation factor from $16\times$ to below $2.2\times$, and replacing progress-aligned targets with final-answer supervision reduces it to at most $8\times$. A learned completion readout selects when to answer without a supplied stopping depth. When intermediate labels are unavailable, prefix self-distillation induces the correspondence from shorter problem prefixes using only final answers. The gains apply across sequential state-tracking tasks, establishing the task structure required for depth extrapolation. These findings support training intermediate predictions and state scale together to make additional recurrent depth useful for longer problems.
• Abstract（参考訳）: ループ言語モデルは、テスト時により多くのイテレーションを実行することができるが、追加のイテレーションは、より長い問題を解決する助けにならない。 シーケンシャルな状態トラッキングでは、最終回答の監視は、各イテレーションがどれくらい進むべきかを規定していない。 これは、最初の$k$操作後に状態を一致させるために、イテレーション$k$で予測をトレーニングし、リカレントステートをファーストイテレーションノルムに再スケールするものだ。 スワップ-$S_5$では、Qwen2.5-0.5Bモデルが少なくとも32回の移動でトレーニングされ、512回の移動で95.5\%、トレーニング長が16\timesで、RCTでは55.7\%、同じバックボーンでは0.8\%となる。 制御された$S_5$ ablationsは、ノルムアンカーを削除することで、外挿係数を16\times$から2.2\times$以下に減らし、プログレス整列目標を最終回答監視に置き換えることで、最大8\times$に減らしていることを示している。 学習完了読み出しは、供給された停止深さなしで答えるタイミングを選択する。 中間ラベルが利用できない場合、プレフィックス自己蒸留は最終回答のみを使用して短い問題プレフィックスから対応を誘導する。 ゲインはシーケンシャルな状態追跡タスクにまたがって適用され、深度外挿に必要なタスク構造が確立される。 これらの知見は、より長い問題に役立てるために、中間予測と状態スケールのトレーニングを支援する。

関連論文リスト

• Hitting-Time Bounds for Asynchronous Q-Learning [11.004709593999296]
  有限マルコフ決定過程の単一軌道からの標準非同期Q-ラーニングの最後の繰り返しについて検討する。 一定のステップサイズを持つゼロ周期Q-ラーニングが $widetildeO(H4/(_minvarepsilon2)+mathfrak h_star)$ transitions を用いて高い確率を達成することを証明した。 経験的状態-アクションカウントルールは、その後のトレーニング実行のための一定のステップサイズを選択し、モデルパラメータの事前の知識なしに同じレートを達成する。
  論文  参考訳（メタデータ） (2026-10-09T17:44:10Z)
• A Convergence Framework for Deep $V$-Learning: Error Propagation and Sharp Action-Gap Bounds [0.0]
  更新エラーを、フィッティング、遷移再利用、ターゲット構築、リプレイ、アクション選択、探索の6つの残差に分解する。 次数$n-$の統計的誤差境界に対して、最適連続割り当てと、制約された最適値の係数2$以内の整数割り当てを導出する。 これらの結果から, FIFO/インターリーブされたSGDに対して, 厳密な動作スコアを有する固定水平生成-リセット近似-ERM法に対して, 期待されるポリシ-ロス一貫性が得られた。
  論文  参考訳（メタデータ） (2026-09-16T15:03:46Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
  Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。 我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
  論文  参考訳（メタデータ） (2026-08-23T10:41:07Z)
• When Can Depth Replace Precision? A Resource Theory of Quantized Neural Computation [14.270378035741404]
  純粋スケジュールは、有界変動時間依存の下で、緩和されたクラスに$O(D-1)$でアプローチする。 実行算術はこの結論を覆すことができる。 コヒーレント深さ-$L$ 1次高精度指数の場合、精度マッチングには$D=(L)$が必要である。
  論文  参考訳（メタデータ） (2026-07-25T23:29:23Z)
• When Does Recurrence Become an Algorithm? Convergence Selection in Weight-Tied Looped Transformers [17.78341274611665]
  重み付きループ変換器 -- 1ブロック適用T倍 -- はアルゴリズムを実装しているのか? 本研究は,集団語問題における制御人口の4つの結果から回答する。
  論文  参考訳（メタデータ） (2026-07-22T16:04:31Z)
• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。