論文の概要: Attending to Memory Writes Reduces Seed Variability in Recurrent Length Generalization

• arxiv url: http://arxiv.org/abs/2611.04902v1
• Date: Tue, 03 Nov 2026 13:47:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-09 12:50:18.620636
• Title: Attending to Memory Writes Reduces Seed Variability in Recurrent Length Generalization
• Title（参考訳）: メモリ書き込みによる連続長一般化における種子の変動低減
• Abstract要約: 未修正更新提案に対する境界デルタアテンション,因果アテンションについて検討した。 TraceRelayの実装は、追加フェーズの繰り返しと並列スキャンの前に計算された注意を組み合わせる。 デルタ・アテンションの低下は、州のアテンションの低下よりも著しく低下する。
• 参考スコア（独自算出の注目度）: 3.0459410574367314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent memory requires learning useful updates, but attention added to assist learning can also compromise length generalization. We study bounded delta attention: causal attention over uncorrected update proposals whose bounded correction enters the recurrent update. Its implementation in TraceRelay combines additive phase recurrence with attention computed before a parallel scan. On prefix-supervised modulo-5, trained at lengths 1--40, three findings characterize its behavior at length 80. First, upper delta attention attains $70.81\pm8.26$% accuracy across seven seeds, versus $69.21\pm22.42$% for the local-attention recurrent baseline (mean $\pm$ sample SD): a 63.2% reduction in SD with a similar mean. Upper state attention also reduces variation, reaching $74.75\pm6.24$%, so this benefit is not unique to update-level attention. Disabling the upper delta correction retains $70.62\pm8.60$%. Second, blocking gradients at the delta-attention inputs changes accuracy to $65.25\pm12.40$% in the matched seven-seed comparison, increasing SD by 50.2%. It also delays a 99% validation threshold on average among the same six seeds that reach it; the 95% threshold is reached earlier on average with input-gradient blocking across all seven seeds. Third, lower delta attention exhibits substantially less extrapolation degradation than lower state attention: 62.60% versus 19.40%, against a 71.06% baseline. Removing its correction reduces accuracy to 22.56%; its advantage over lower state attention also persists under input-gradient blocking. These observations motivate bounded update-level attention as a recurrent learning scaffold, combining reduced seed variation with less severe degradation in a placement where state attention fails.
• Abstract（参考訳）: リカレントメモリは、有用な更新を必要とするが、学習を支援するための注意が、長さの一般化を損なう可能性がある。 本研究は,リカレント更新に有界補正が入る未修正更新提案に対する因果的注意について検討する。 TraceRelayの実装は、追加フェーズの繰り返しと並列スキャンの前に計算された注意を組み合わせる。 長さ1～40のプレフィックス付きモジュロ5では, 長さ80の挙動を特徴付ける3つの所見が認められた。 第1に、7つの種に対して70.81\pm8.26$%の精度で上デルタ注意が達成されるのに対し、6.9.21\pm22.42$%の局所保持リカレントベースライン(平均$\pm$サンプルSD)では63.2%のSDが同じ平均で減少する。 上位州の注意も変化を減らし、74.75\pm6.24$%に達した。 上デルタ補正の無効化は70.62 pm8.60$%である。 第2に、デルタアテンション入力におけるブロッキング勾配は、一致した7シード比較で65.25\pm12.40$%の精度に変化し、SDは50.2%増加した。 また、それに到達する6種の種子のうち平均99%の検証しきい値を遅らせ、95%のしきい値が平均よりも早く到達し、7種の種子全てをインプット・グラディエント・ブロッキングする。 第3に、デルタ・アテンションの低下は州の注意の低下よりもはるかに少なく、62.60%対19.40%であり、ベースラインは71.06%である。 修正を除去すると精度は22.56%に低下し、低い状態の注意に対する優位性もインプット・グラディエント・ブロッキングの下で持続する。 これらの観察は、状態注意が失敗する場所において、種子の変動を減らし、深刻な劣化を減らし、繰り返し学習の足場として、有界更新レベルの注意を動機付けている。

関連論文リスト

• TraceRelay: Attention-Aligned Recurrence over Rolling Traces [3.0459410574367314]
  TraceRelayは、低次元のトレースのローリングシーケンス上に永続的な表現を分散する、注目に合ったリカレントアーキテクチャである。 等間隔リピートによる36個の小型モデル実行, 境界ダイク閉鎖型予測, 因果モストフリーク生成について検討した。
  論文  参考訳（メタデータ） (2026-10-08T11:34:22Z)
• Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
  我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。 5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。 アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
  論文  参考訳（メタデータ） (2026-09-30T16:40:22Z)
• One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
  凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。 また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。 Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
  論文  参考訳（メタデータ） (2026-09-20T14:54:35Z)
• Anatomy of a Sound Neural Reasoner: One-Shot Amortization, First-Pass Poisoning, and Search Inertness in Clue-Rich Completion [0.0]
  ヒントに富んだ数独では、フォワードパスは基本的にグリッド全体をコミットする。 検索開始前にすべてのハードスライス障害が決定され、最初のパスが真のソリューションで要求される値を確実に削除する。 手がかりに富んだ補完では、LDTのようなシステムは、学習された探索手順ではなく、一発の償却予測器である。
  論文  参考訳（メタデータ） (2026-07-22T00:05:34Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• ESPO: Early-Stopping Proximal Policy Optimization [78.79610718910628]
  ESPO(Early-Stopping Proximal Policy Optimization)は、軌道上の障害を検出し、ロールアウトを早期に終了する。 DeepSeek-R1-Distill-Qwen-7Bでは、ESPOはAIME2024(46.28%対45.25%)、AMC2023(85.83%対82.94%)、MATH-500(87.42%対85.43%)でPPOを上回っている。
  論文  参考訳（メタデータ） (2026-05-28T12:40:22Z)
• ILDR: Geometric Early Detection of Grokking [0.0]
  Grokking氏は、ニューラルネットワークが検証精度が向上する前に完璧なトレーニング精度を達成する、遅延一般化現象を説明している。 Intra-class Distance Ratio (ILDR, Inter/Intra-class Distance Ratio)を提案する。 ILDRは、グルーキング遷移が検証精度に現れる前に、ベースラインの2.5倍の閾値を上昇し、交差する早期検出信号を提供する。
  論文  参考訳（メタデータ） (2026-04-22T06:14:29Z)
• Learning When to Act: Interval-Aware Reinforcement Learning with Predictive Temporal Structure [0.0]
  本稿では,経験から認知的ティッチ間の最適間隔を学習する,軽量な時間制御システムを提案する。 また、選択した待ち時間に対する非効率性を明示するインターバルアウェア報酬を提案する。
  論文  参考訳（メタデータ） (2026-03-23T16:46:17Z)
• REPA Works Until It Doesn't: Early-Stopped, Holistic Alignment Supercharges Diffusion Training [58.33728862521732]
  Diffusion Transformer (DiTs)は最先端の画像品質を提供するが、訓練は依然として遅い。 最近の治療 -- DiT の隠された特徴と非生成的教師(例えば DINO)の特徴とを一致させる表現アライメント(REPA) -- は、初期のエポックを劇的に加速させるが、その後パフォーマンスを低下させる。 生成学習者が共同データ分布をモデル化し始めると、教師の低次元埋め込みと注意パターンがガイドではなくストラトジャケットになる。 HASTEを紹介する
  論文  参考訳（メタデータ） (2025-05-22T15:34:33Z)
• Delta Attention: Fast and Accurate Sparse Attention Inference by Delta Correction [52.14200610448542]
  変圧器は二次的な複雑さを持ち、長いシーケンスに対して高い推論コストとレイテンシをもたらす。 本稿では、この分布シフトを修正するためのシンプルで斬新で効果的な手順を提案する。 1Mトークンのプリフィル処理では,Flash Attention 2の32倍の速度で,約98.5%の間隔を維持することができる。
  論文  参考訳（メタデータ） (2025-05-16T13:48:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。