論文の概要: Repeated Shared Access Enables Grokking, but Edit Propagation Depends on a Fine-Grained Addressable Memory

• arxiv url: http://arxiv.org/abs/2606.20737v1
• Date: Wed, 17 Jun 2026 15:52:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 16:10:14.970691
• Title: Repeated Shared Access Enables Grokking, but Edit Propagation Depends on a Fine-Grained Addressable Memory
• Title（参考訳）: 繰り返し共有アクセスはグロキングを可能にするが、編集プロパゲーションは微粒なアドレスメモリに依存する
• Authors: Yanan Niu,
• Abstract要約: 制御された知識グラフQA設定における実際の編集の伝搬について検討する。 共有された事前編集IDセットでは、単一行の事実編集が2つのメモリを持つ細胞に強く伝播する。 編集の伝搬は、フォワードが書き、後で読み込むことができる粒度の細かいアドレス可能なメモリを基板が公開するかどうかに依存する。
• 参考スコア（独自算出の注目度）: 3.7040644759831736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study factual edit propagation in a controlled synthetic knowledge-graph QA setting, comparing four architectures that cross loop recurrence with shared memory access: dense (Dense), looped (Loop), dense with shared memory (Dense+Mem), and looped with shared memory (LMC). Dense fits in-distribution 2-hop compositions but fails OOD; both looped recomputation and memory rereading cross this OOD grokking barrier, indicating that repeated shared access -- not a specific architecture -- is the common ingredient for learning. Editing, however, separates the substrates along a different axis. On a shared pre-edit-correct ID set, a single-row factual edit propagates strongly in the two memory-bearing cells (LMC 0.78-0.92, Dense+Mem 0.71-0.96) and only weakly in the others (Loop 0.04-0.30, Dense 0.00-0.03); the separation is statistically clean (Mann-Whitney p=0.008 between memory and non-memory cells, p=0.55 between the two memory cells, though n=5 vs n=5 is underpowered to rule out a moderate gap). In LMC, atomic facts localize to dominant memory sites that composition rereads, and a one-row value edit on LMC's own pre-edit-correct probes achieves 100% direct success with mean 0.989 intended propagation while moving unrelated facts ~0.1% of the time (matched specificity across substrates pending). A coarse hold-answer-subspace (HOLDANS) interchange diagnostic is consistent with this ordering, suggesting that what separates the substrates is when an edited fact is injected and how much computation remains afterwards to reuse it. These results dissociate learning competence from editing affordance: repeated shared access suffices to grok, but edit propagation depends on whether the substrate exposes a fine-grained addressable memory the forward computation can write to and later reread -- an affordance that loop recurrence provides only partially.
• Abstract（参考訳）: 合成知識グラフのQA設定において,共有メモリアクセスと交差する4つのアーキテクチャを比較検討し,共有メモリ(Dense),ループド(Loop),共有メモリ(Dense+Mem),共有メモリ(LMC)の4つを比較した。 Denseは配布中の2ホップ構成に適合するが、OODに失敗する。ループ再計算とメモリ再読み込みの両方が、このOODグラッキングバリアを越えている。 しかし、編集は基板を異なる軸に沿って分離する。 共有編集前のIDセットでは、単行の事実編集が2つのメモリを持つ細胞(LMC 0.78-0.92, Dense+Mem 0.71-0.96)に強く伝播し、他の細胞のみに弱い(Loop 0.04-0.30, Dense 0.00-0.03)。 LMCでは、原子の事実はリリードする主要な記憶部位に局在し、LCC自身の事前編集されたプローブのワンロー値編集は平均0.989の意図した伝播で100%直接成功し、無関係な事実を0.1%の時間で移動させる(基板間のマッチング特異性)。 粗いホールド・アンサー・サブスペース (HOLDANS) のインターチェンジ診断は、この順序と一致しており、基板を分離するものは、編集された事実が注入されたときであり、その後の計算量で再利用されることを示唆している。 これらの結果は、学習能力と編集能力を解き放つ: 繰り返し共有されたアクセスサッピースがゆるめられるが、編集の伝搬は、基板が詳細なアドレス可能なメモリを公開して、フォワード計算が書き込むことができ、後で読むことができるかどうかに依存する。

関連論文リスト

• $μ$VLA: On Recurrent Memory for Partially Observable Manipulation in VLA Models [44.66763491853812]
  本研究は,VLA背骨の再発の制御的分離について検討した。 我々の定式化は、タイムステップにまたがる学習可能なメモリトークンの小さなセットでトランスフォーマーを強化します。 我々はこれらの結果を,背骨内再発の最小限のエンベロープの校正と解釈する。
  論文  参考訳（メタデータ） (2026-06-10T13:26:40Z)
• AURA: Action-Gated Memory for Robot Policies at Constant VRAM [0.0]
  AURA-Memは、一定サイズのリカレントメモリと学習ゲートを備えた凍結された視覚言語アクションバックボーンをラップする。 AURA-Mem は 5.19-6.13 倍の書き込みと 9.19 倍の書き込みを使用して、O(1) のベースラインを精度良く一致させる。
  論文  参考訳（メタデータ） (2026-06-01T18:38:21Z)
• Same Ranking, Different Winner: How Scoring Targets Shape LLM Memory Benchmarks [2.9089118242427627]
  会話記憶システムは対話履歴を事実、要約、タイムライン、および他のソースリンクされた子孫に変換する。 どのストアドフォームが検索クレジットを受け取るべきか? このスコアリング対象の選択は、しばしば暗黙的に残され、ベンチマークの結論を実質的に変更できることを示す。
  論文  参考訳（メタデータ） (2026-05-22T02:53:07Z)
• RecMem: Recurrence-based Memory Consolidation for Efficient and Effective Long-Running LLM Agents [16.625864201773343]
  RecMemは、受信するインタラクションをサブ意識のメモリ層に格納し、軽量な埋め込みモデルを使用してエンコードする。 実験により、RecMemは3つのSOTAメモリシステムのメモリ構築トークンコストを最大87%削減し、精度を上回ります。
  論文  参考訳（メタデータ） (2026-05-15T15:17:36Z)
• WiCER: Wiki-memory Compile, Evaluate, Refine Iterative Knowledge Compilation for LLM Wiki Systems [0.0]
  我々は17のRepLiQAドメイン間のコンパイルギャップを特徴付ける(6,800の質問)。 本稿では,このギャップを埋める反例誘導抽象化改良(CEGAR)にインスパイアされた反復アルゴリズムであるWiCERを提案する。 全17項目のアブレーションにより、汎用ピンニング(+0.16)ではなく、ターゲット診断(+0.95)がゲインを駆動していることが確認された。
  論文  参考訳（メタデータ） (2026-05-08T00:25:16Z)
• A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
  生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。 逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。 本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
  論文  参考訳（メタデータ） (2026-04-25T17:38:51Z)
• Cut Your Losses in Large-Vocabulary Language Models [102.6981011879656]
  我々は,全トークンのロジットをグローバルメモリに実体化することなく,クロスエントロピー損失を計算する手法であるカットクロスエントロピー(CCE)を提案する。 CCEはロスのメモリフットプリントを24GBから1MBに減らし、ヘッドのトレーニング時間のメモリ消費を28GBから1GBに短縮する。
  論文  参考訳（メタデータ） (2024-11-13T20:30:15Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation [68.45737688496654]
  各オブジェクトのマスク特徴を再エンコードすることなく,フレーム間の直接対応性を確立する。 対応によって、現在のクエリフレーム内の全てのノードは、過去の特徴を連想的に集約することによって推測される。 すべてのメモリノードにコントリビュートする機会があることを検証し、そのような多彩な投票がメモリ効率と推論精度の両方に有益であることを示した。
  論文  参考訳（メタデータ） (2021-06-09T16:50:57Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。