論文の概要: Anatomy of Associative Recall in Fixed-State Recurrences: A Matched-State Decomposition, an Interference Wall, and a Curriculum That Breaks It
- arxiv url: http://arxiv.org/abs/2609.16183v1
- Date: Mon, 14 Sep 2026 18:17:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.17289
- Title: Anatomy of Associative Recall in Fixed-State Recurrences: A Matched-State Decomposition, an Interference Wall, and a Curriculum That Breaks It
- Title（参考訳）: 固定状態残効における連想的リコールの解剖:一致状態分解、干渉壁、それを破壊するカリキュラム
- Abstract要約: ランク1遷移は16/32対の対角線マンバ+0.19/+0.32に打ち勝つが、両細胞が畳み込みを行うとマージンは+0.03に縮まり、状態方向マンバ-2はランク1細胞を結び付ける。
また、トレーニングはシードのロックインから、あるいはロックインからではなく、カリキュラムがレバーにあることも示しています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fixed-state recurrences--linear attention and state-space models--are reported to lag behind attention on associative recall, but whole-architecture comparisons cannot say which ingredient is responsible. We decompose masked multi-query recall at a fixed state budget along three single-knob axes: a short causal convolution, the transition structure (rank-1 delta rule vs. diagonal), and decay. The convolution dominates (~+0.5 recall in both families under matched training): comparisons that pit convolution-free cells against a convolution-equipped Mamba measure the missing convolution, not the recurrence. The rank-1 transition beats its diagonal ablation by +0.19/+0.32 at 16/32 pairs, but the margin shrinks to +0.03 once both cells carry the convolution, and a state-matched Mamba-2 ties the unarmed rank-1 cell: no class claim survives. Cells that solve 32-pair recall degrade gracefully with load yet fall to chance retrieving 4 pairs from a distractor haystack--flat across lengths and transitions. Interference under sparse supervision, not capacity: a distance curriculum takes the unchanged architecture from 0.021 to 1.000. Training is a lock-in lottery--a seed either locks in or does not--and the curriculum is the lever. Lock-in rises from 1/10 to 7/10 (p=0.02); dense supervision adds nothing; at L=256 a shaped ramp reopens a boundary the uniform curriculum cannot (4/5 vs. 0/9); and at L=512, where the ramp collapses (0/6), gating it on measured accuracy locks in 6/6 (p=0.001). Bidirectional denoiser cells, reading the query before the haystack, show no measurable advantage over causal training (ten seeds), and collision-key retrieval needs two layers. Arming for recall is free on an S_5 state-tracking guardrail--the armed cell is significantly better at every depth (p<=0.0044). These replace "recurrent models are bad at recall" with a measured decomposition and two cheap interventions.
- Abstract（参考訳）: 固定状態の再発 - 線形の注意と状態空間モデル - は、連想的リコール(asociative recall)への注意の遅れを報告されているが、全体構造比較では、どの成分が原因であるかは定かではない。
マスク付きマルチクエリリコールを3つの単一ノブ軸に沿って固定状態予算で分解する。
コンボリューションが支配的であり(一致した訓練下では、両方の家族で約0.5回リコール)、コンボリューションのない細胞とコンボリューションを組み込んだマンバの比較は、再発ではなく、欠落したコンボリューションを測定する。
ランク1遷移は16/32対の対角線のアブレーションを+0.19/+0.32に打ち負かすが、両細胞が畳み込みを持ち、状態が整ったマンバ-2が非武装のランク1細胞を結び付けると、その辺縁は+0.03に縮まる。
32ペアのリコールを解く細胞は、負荷がかかると優雅に劣化するが、4組の干し草を散らかし、長さと遷移を平らにする。
余分な監督下での干渉は、容量ではなく: 距離のカリキュラムは、変更のないアーキテクチャを0.021から1.000に分解する。
トレーニングはロックイン・宝くじ(ロックインまたはロックインしないシード)であり、カリキュラムはレバーである。
ロックインは1/10から7/10 (p=0.02) まで上昇し、密集した監視は不要であり、L=256では、均一なカリキュラムは(4/5対0/9)、L=512では、ランプが崩壊し(0/6)、測定精度のロックを6/6(p=0.001)でゲーティングする。
双方向デノイザー細胞は、干し草の前のクエリを読み、因果訓練(10個の種子)よりも測定可能な優位性を示し、衝突キー検索には2つの層が必要である。
S_5状態追尾ガードレールでは、リコール用アームはフリーであり、武装したセルは、深さ毎に著しく良くなっている(p<=0.0044)。
これらは、測定された分解と2つの安価な介入で“リカレントモデルはリコール時に悪い”ものを置き換える。
関連論文リスト
- A Fragility Spectrum for Recursive Language-Model Training [9.563027159959587]
異なるモデルが同じプロセスで非常に異なる振る舞いをすることを示す。
5世代後のユニークな4グラムの結果は、チェックポイント毎に0.187から0.940まで様々である。
共有プールの構成を変更したり、人文で混合したりすることで、スピアマンの順序の相関は0.91--0.97に保たれる。
論文 参考訳（メタデータ） (2026-09-10T06:56:22Z) - Fast Weight Attention for Continual Learning [75.34672054079408]
リカレント高速記憶と選択状態空間モデルは、拡張コンテキストを固定サイズのリカレント状態に圧縮する。
正則化された二乗誤差回帰と負の内積目標の1次更新を導出する。
我々は、数値的に安定な正のデカイ再正規化とともに、繰り返し、マスクパラレル、チャンクパラレル形式を提供する。
論文 参考訳（メタデータ） (2026-08-27T22:55:11Z) - In-Cell Learning: Deployed Language Models Can Learn New Knowledge Without Changing a Single Stored Bit [4.726337413307433]
4ビットのリリースでは、各重みを整数コードと共有スケールとして格納し、格納された値の間に量子化器が捨てる間隔を残していることを示す。
私たちは、新しい知識をそのインターバルに書き込むパラダイムを、インセルラーニングと呼ぶ。
CellFillは、内部の低ランクの位置をベンダー自身の4ビットリリースでトレーニングすることで、構築によってパラダイムを実現する。
論文 参考訳（メタデータ） (2026-08-21T08:49:07Z) - WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。
アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。
凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
論文 参考訳（メタデータ） (2026-08-10T11:22:53Z) - The World Model Remembers, the Actor Forgets: Dream Rehearsal for Continual Model-Based RL [0.0]
強化学習エージェントは、タスクシーケンスでトレーニングされたときに破滅的に忘れる。
我々は,この方式を忘れることはチャネルの問題であり,記憶の問題ではないことを示した。
論文 参考訳（メタデータ） (2026-07-22T04:46:49Z) - Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning [0.16921396880325776]
固定ボックスパラメータCの1クラスSfpの支持係数が重みを持つメモリであるSupport Vector Attention(SV-Attention)を導入する。
アクティブセットのパーティションは、リザーブトークンを正確にゼロウェイト、出力ウェイトを与え、インクリメンタルインクリメンタルソルバトークンは、同じCの下で再トレーニングせずに生成した状態を回復する。
また,実文埋め込み上での外科的排除,正確な編集,患者記録の削除,忘れやすい検索メモリも示す。
論文 参考訳（メタデータ） (2026-07-13T23:13:57Z) - Forgetting Is Not a Fix: Path Dependence in Sequential Engram Editing [35.76482964927589]
本研究では,概念固有のメモリトレースが1回,1回,1回を算術的に組み合わせて抽出できる線形オブジェクトとなるという仮説を検証した。
そのテストは、著者自身の参照実装に基づいて、報告された最高の編集強度で実行します。
アンラーニング・アズ・コンプライアンス:今日認定された消去は、次の編集後にアーティファクトを認定しない。
論文 参考訳（メタデータ） (2026-07-06T23:45:06Z) - The Orthogonalized Read Is a Removable Training Scaffold for Recurrent Memory [0.0]
効果は再現されるが、メモリ改善ではない。
この任務の訓練は、急激な脱出に続き、長い確率の台地である。
公開された利益の多くは、アーキテクチャをまったく必要としない。
論文 参考訳（メタデータ） (2026-07-02T18:54:23Z) - $μ$VLA: On Recurrent Memory for Partially Observable Manipulation in VLA Models [44.66763491853812]
本研究は,VLA背骨の再発の制御的分離について検討した。
我々の定式化は、タイムステップにまたがる学習可能なメモリトークンの小さなセットでトランスフォーマーを強化します。
我々はこれらの結果を,背骨内再発の最小限のエンベロープの校正と解釈する。
論文 参考訳（メタデータ） (2026-06-10T13:26:40Z) - Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness [45.148328075418156]
デプロイされた注文エージェントは、階層の固定された分類に分解される。
純粋なスイートは、ロックされたスライス単位のベースラインに対して、すべての変更でCIで動作する。
制御されたレグレッションインジェクションにより、安全でない7つの層に一度に1つの層を分解し、検証する。
論文 参考訳（メタデータ） (2026-06-10T05:55:13Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - The Coordinate System Problem in Persistent Structural Memory for Neural Architectures [0.0]
そこで我々はDual-View Pheromone Pathway Network (DPPN)を紹介した。
永続メモリは安定した座標系を必要とする。
コントラスト的な更新,マルチソース蒸留,ハンガリーのアライメント,セマンティックな分解は,スクラッチから埋め込みが学習された場合の不安定性を解消しないことを示す。
論文 参考訳（メタデータ） (2026-03-24T06:51:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。