論文の概要: SchemaMem: Schema-Indexed Recurrent Memory for Delayed State Retrieval
- arxiv url: http://arxiv.org/abs/2609.33436v1
- Date: Sun, 27 Sep 2026 10:43:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 16:53:44.201266
- Title: SchemaMem: Schema-Indexed Recurrent Memory for Delayed State Retrieval
- Title（参考訳）: SchemaMem: 遅延状態検索のためのスキーマインデックス付きリカレントメモリ
- Abstract要約: 私たちは、チャンクローカルな注意と永続的なスキーマインデックスのフェーズ状態を組み合わせたアテンションベースのリカレントメモリアーキテクチャであるMemを紹介します。
制御されたアドレス値タスクにおいて、選択的更新、保存、遅延検索について検討した。
- 参考スコア（独自算出の注目度）: 3.0459410574367314
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Attention provides direct access to past representations, but retaining an ever-growing history is costly. Recurrent models bound persistent state, yet must preserve selected information while processing subsequent inputs. We introduce SchemaMem, an attention-based recurrent memory architecture combining chunk-local attention with a persistent, schema-indexed phase state. Learned schema embeddings provide a shared representational reference for reading and writing. Reads use the current state, whereas writes use the layer input and static schema embeddings, excluding direct feedback from that layer's own state. Chunk-boundary commits aggregate bounded phase increments through forward computation. The same parameters also support full-history attention training before and during recurrent training. We studied selective updates, preservation, and delayed retrieval in a controlled address--value task, comparing three-layer models with approximately matched parameter counts and persistent-state dimensions. Across nine address/value settings and three training seeds, SchemaMem has higher mean written-value retention at four times the maximum training delay than both baselines, which are trained toward a higher in-range accuracy target. Updated-value recovery favors SchemaMem in all nine settings against Mamba-3 and seven against Gated DeltaNet. Defaults consistently favor Gated DeltaNet over SchemaMem at that delay, and SchemaMem requires substantially more optimization steps. These results identify a promising retention--optimization trade-off in schema-indexed recurrence.
- Abstract（参考訳）: 注意は過去の表現に直接アクセスするが、成長を続ける歴史を維持することはコストがかかる。
リカレントモデルは永続的な状態に拘束されるが、後続の入力を処理する間は選択した情報を保持する必要がある。
我々は、チャンクローカルな注意と永続的なスキーマインデックスされたフェーズ状態を組み合わせたアテンションベースのリカレントメモリアーキテクチャであるSchemaMemを紹介する。
学習されたスキーマ埋め込みは、読み書きのための共有表現参照を提供する。
読み込みは現在の状態を使用し、書き込みはレイヤの入力と静的スキーマの埋め込みを使用し、そのレイヤ自身の状態からの直接的なフィードバックを除外する。
Chunk-boundary commits aggregate bounded phase increments through forward computing。
同じパラメータは、反復トレーニング前後のフルヒストリーアテンショントレーニングもサポートする。
制御されたアドレス値タスクにおける選択的更新, 保存, 遅延検索について検討し, 3層モデルとほぼ一致するパラメータ数, 永続状態次元を比較した。
9つのアドレス/値設定と3つのトレーニングシードに対して、SchemaMemは、平均的な書き込み値保持率を、両方のベースラインの最大トレーニング遅延の4倍に向上させ、より高い範囲の精度目標に向けてトレーニングする。
更新値リカバリは、Mamba-3と7とGated DeltaNetの9つの設定すべてでSchemaMemを好んでいる。
デフォルトは、その遅延時にSchemaMemよりもGated DeltaNetを常に好んでおり、SchemaMemは、かなり多くの最適化手順を必要とする。
これらの結果は、スキーマインデクシングによるリカレンスにおける有望な保持-最適化トレードオフを特定する。
関連論文リスト
- Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner [55.80248281761638]
マルチモーダルな大言語モデル (MLLM) は、科学的および数学的推論において、印象的な認識を提供する。
本稿では,DG-Memを提案する。DG-Memは,トレーニングタイムのロールアウトから一度構築した外部記憶メモリと,テスト時に読み取り専用に相談することで,凍結したMLLMを拡張可能なエージェントメモリフレームワークである。
論文 参考訳（メタデータ） (2026-08-24T13:56:01Z) - Raven: High-Recall Sequence Modeling with Sparse Memory Routing [88.47618436676748]
メモリスロットの固定セットを維持する線形時間シーケンスモデルであるRavenを導入し、各ステップにおいて、学習された入力依存ルーティングによって選択されたサブセットのみを減衰・更新する。
リコール集約ベンチマーク全体では、Ravenは以前のリニアタイムベースラインと競合するか、より優れており、SWAとSSMの両方が大幅に低下する強いロングコンテキストリコールを実現している。
論文 参考訳（メタデータ） (2026-07-28T07:04:32Z) - MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。
MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。
長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
論文 参考訳（メタデータ） (2026-07-14T15:33:44Z) - SinkRec: Mitigating Semantic State Sink in Long Sequence Recommendation with Memory-Conditioned Gated Delta Networks [31.41875429254432]
セマンティックステートシンクを緩和するハイブリッドメモリ-遷移ループアーキテクチャであるSinkRecを提案する。
SinkRecは、繰り返し発生するローカルパターンを学習可能な条件記憶に外部化する。
TDGDは、メモリに隠された更新を抑え、メモリに整合した読み出し応答を除去することで、リカレント書き込みと読み出しをメモリで浄化する。
論文 参考訳（メタデータ） (2026-06-03T09:10:06Z) - SHARP: Sleep-based Hierarchical Accelerated Replay for Long Range Non-Stationary Temporal Pattern Recognition [7.555597360852762]
SHARP(Sleep-based Hierarchical Accelerated Replay)は、時間学習を2つの補完的なコンポーネントに分解するフレームワークである。
SHARPは、緩やかな睡眠中に、げっ歯類で観察される加速されたリプレイにインスパイアされ、時間的に構造化されたメモリトレースをアクセラレーションされた形で再生するオフライン(スリープ)フェーズを組み込む。
論文 参考訳（メタデータ） (2026-05-30T13:55:02Z) - Rethinking Memory as Continuously Evolving Connectivity [63.58181883607843]
既存のメモリ拡張LDMエージェントは、メモリを事前定義された表現と固定された検索パイプラインを備えた静的リポジトリとして扱う。
メモリをヘテロジニアスなグラフとしてモデル化し,そのトポロジを3段階にわたって段階的に洗練する,コネクティビティ進化型メモリフレームワークであるFluxMemを提案する。
LoCoMo、Mind2Web、GAIAなど、根本的に異なる3つのベンチマークにおいて、FluxMemは一貫した最先端のパフォーマンスを実現し、複雑なエージェント環境において強力な適応と一般化を示す。
論文 参考訳（メタデータ） (2026-05-27T17:35:34Z) - Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。
LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
論文 参考訳（メタデータ） (2026-05-26T10:10:26Z) - MemForest: An Efficient Agent Memory System with Hierarchical Temporal Indexing [33.94614583313314]
本稿では,エージェントメモリを書き込み効率のよい時間的データ管理問題として再構成するメモリフレームワークであるMemForestを紹介する。
MemForestは、並列チャンク抽出によってシーケンシャルなボトルネックを破り、メモリ構成を並列で独立した操作に分離する。
We evaluate MemForest on two long-context memory benchmarks, LongMemEval-S and LoCoMo。
論文 参考訳（メタデータ） (2026-05-16T13:11:47Z) - Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。
我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。
我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
論文 参考訳（メタデータ） (2022-07-20T07:26:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。