論文の概要: Repeated Shared Access Enables Grokking, but Edit Propagation Depends on an Addressable Memory

• arxiv url: http://arxiv.org/abs/2606.20737v2
• Date: Tue, 23 Jun 2026 11:42:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.26655
• Title: Repeated Shared Access Enables Grokking, but Edit Propagation Depends on an Addressable Memory
• Title（参考訳）: 繰り返し共有アクセスはグロキングを可能にするが、編集プロパゲーションはアドレス可能なメモリに依存する
• Authors: Yanan Niu,
• Abstract要約: 制御された知識グラフQA設定における実際の編集の伝搬について検討する。 学習において、繰り返し共有されるアクセスへの経路は、Denseが失敗するアウト・オブ・ディストリビューション・グルーキング障壁を越えている。 編集の伝搬は、フォワード計算が書き込むアドレス可能なメモリが、後で読み込まれるかどうかに依存する。
• 参考スコア（独自算出の注目度）: 3.7040644759831736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study factual edit propagation in a controlled synthetic knowledge-graph QA setting using a 2x2 grid that crosses loop recurrence with shared-memory access: a dense transformer (Dense), a looped transformer (Loop), a dense backbone with shared memory (Dense+Mem), and a looped backbone with shared memory (loop-memory coupling, LMC). The two factors dissociate. For learning, both routes to repeated shared access -- looped recomputation and repeated memory rereading -- cross the out-of-distribution (OOD) grokking barrier that Dense fails, so repeated shared access is the behavioral regularity, not a specific architecture. For editing, the substrates split along a different axis: applying a single localized factual edit (conditioned on direct success) and measuring 2-hop propagation on a shared pre-edit-correct set, the edit propagates strongly in both memory-bearing cells (LMC 0.78-0.92, Dense+Mem 0.71-0.96) and only weakly in the memory-free ones (Loop 0.04-0.30, Dense 0.00-0.03). The split is along the memory axis, not the loop axis: every memory-bearing seed exceeds every memory-free seed, with no detectable difference between the two memory cells. Crucially Dense+Mem has no recurrence, so the propagating ingredient is an addressable site that an edit can write to and later computation rereads, not loop recomputation; Loop is at best a partial intermediate. The affordance survives coarsening the store (N=128 to N=13): propagation attenuates but the memory/no-memory split persists, so fine granularity buys precision rather than the affordance itself. These results dissociate learning competence from editing affordance -- repeated shared access suffices to grok, but edit propagation depends on whether the substrate exposes an addressable memory that the forward computation can write to and later reread, an affordance that loop recurrence provides only partially.
• Abstract（参考訳）: 共有メモリアクセスでループ再帰を横切る2x2グリッドと、共有メモリを持つループ変換器(Dense)、共有メモリを持つループ変換器(Loop)、共有メモリを持つループバックボーン(Dense+Mem)、共有メモリを持つループ化バックボーン(ループメモリ結合、LCC)を用いて、制御された合成知識グラフQA設定における実際の編集伝搬について検討する。 2つの要因が解離する。 学習において、繰り返し共有アクセスへの経路 -- ループ再計算と繰り返しメモリ再読み込み -- は、Denseが失敗するアウト・オブ・ディストリビューション(OOD)グラッキング障壁を越えているため、繰り返し共有アクセスは、特定のアーキテクチャではなく行動規則である。 編集は、単一の局所化された事実編集(直接的な成功を条件とした)を施し、共有プレ編集正解集合上で2ホップの伝搬を測定することにより、両方のメモリを持つ細胞(LMC 0.78-0.92, Dense+Mem 0.71-0.96)に強く伝播し、メモリのない細胞(Loop 0.04-0.30, Dense 0.00-0.03)にのみ弱い。 スプリットはメモリ軸に沿っており、ループ軸ではなく、全てのメモリを包含するシードは2つのメモリセル間で検出可能な差なく、すべてのメモリ自由シードを超える。 Crucially Dense+Memは再帰しないので、プロパゲーションの要素は、編集がループ再計算ではなく、後で再読み込むことができるアドレス可能なサイトである。 ストアの粗大化(N=128〜N=13):伝播は減衰するが、メモリ/メモリ分割は持続するので、細かい粒度は価格そのものよりも正確である。 これらの結果は、編集能力から学習能力を解き放つ -- 繰り返し共有されるアクセス満足度は無視されるが、編集の伝搬は、フォワード計算が書き込むアドレス可能なメモリが、後で読み取ることができるかどうかに依存する。

関連論文リスト

• $μ$VLA: On Recurrent Memory for Partially Observable Manipulation in VLA Models [44.66763491853812]
  本研究は,VLA背骨の再発の制御的分離について検討した。 我々の定式化は、タイムステップにまたがる学習可能なメモリトークンの小さなセットでトランスフォーマーを強化します。 我々はこれらの結果を,背骨内再発の最小限のエンベロープの校正と解釈する。
  論文  参考訳（メタデータ） (2026-06-10T13:26:40Z)
• AURA: Action-Gated Memory for Robot Policies at Constant VRAM [0.0]
  AURA-Memは、一定サイズのリカレントメモリと学習ゲートを備えた凍結された視覚言語アクションバックボーンをラップする。 AURA-Mem は 5.19-6.13 倍の書き込みと 9.19 倍の書き込みを使用して、O(1) のベースラインを精度良く一致させる。
  論文  参考訳（メタデータ） (2026-06-01T18:38:21Z)
• Same Ranking, Different Winner: How Scoring Targets Shape LLM Memory Benchmarks [2.9089118242427627]
  会話記憶システムは対話履歴を事実、要約、タイムライン、および他のソースリンクされた子孫に変換する。 どのストアドフォームが検索クレジットを受け取るべきか? このスコアリング対象の選択は、しばしば暗黙的に残され、ベンチマークの結論を実質的に変更できることを示す。
  論文  参考訳（メタデータ） (2026-05-22T02:53:07Z)
• RecMem: Recurrence-based Memory Consolidation for Efficient and Effective Long-Running LLM Agents [16.625864201773343]
  RecMemは、受信するインタラクションをサブ意識のメモリ層に格納し、軽量な埋め込みモデルを使用してエンコードする。 実験により、RecMemは3つのSOTAメモリシステムのメモリ構築トークンコストを最大87%削減し、精度を上回ります。
  論文  参考訳（メタデータ） (2026-05-15T15:17:36Z)
• WiCER: Wiki-memory Compile, Evaluate, Refine Iterative Knowledge Compilation for LLM Wiki Systems [0.0]
  我々は17のRepLiQAドメイン間のコンパイルギャップを特徴付ける(6,800の質問)。 本稿では,このギャップを埋める反例誘導抽象化改良(CEGAR)にインスパイアされた反復アルゴリズムであるWiCERを提案する。 全17項目のアブレーションにより、汎用ピンニング(+0.16)ではなく、ターゲット診断(+0.95)がゲインを駆動していることが確認された。
  論文  参考訳（メタデータ） (2026-05-08T00:25:16Z)
• A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
  生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。 逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。 本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
  論文  参考訳（メタデータ） (2026-04-25T17:38:51Z)
• Cut Your Losses in Large-Vocabulary Language Models [102.6981011879656]
  我々は,全トークンのロジットをグローバルメモリに実体化することなく,クロスエントロピー損失を計算する手法であるカットクロスエントロピー(CCE)を提案する。 CCEはロスのメモリフットプリントを24GBから1MBに減らし、ヘッドのトレーニング時間のメモリ消費を28GBから1GBに短縮する。
  論文  参考訳（メタデータ） (2024-11-13T20:30:15Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation [68.45737688496654]
  各オブジェクトのマスク特徴を再エンコードすることなく,フレーム間の直接対応性を確立する。 対応によって、現在のクエリフレーム内の全てのノードは、過去の特徴を連想的に集約することによって推測される。 すべてのメモリノードにコントリビュートする機会があることを検証し、そのような多彩な投票がメモリ効率と推論精度の両方に有益であることを示した。
  論文  参考訳（メタデータ） (2021-06-09T16:50:57Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。