論文の概要: DeltaNet-PC: Test-Time Memory Without Backpropagation Through Time

• arxiv url: http://arxiv.org/abs/2610.15185v1
• Date: Sat, 10 Oct 2026 21:17:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 02:07:44.459549
• Title: DeltaNet-PC: Test-Time Memory Without Backpropagation Through Time
• Title（参考訳）: DeltaNet-PC: バックプロパゲーションのないテスト時間メモリ
• Abstract要約: シーケンシャルな情報のテスト時の記憶は、あらゆるインテリジェントなシステムの基礎となる能力である。 DeltaNet-PCがデータの単一シーケンス、複数のデータシーケンス、キー値連想メモリペアを完全なリコール精度で格納するためにどのように使用できるかを示す。
• 参考スコア（独自算出の注目度）: 3.678837651293323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time memorization of sequential information is a foundational capability for any intelligent system that needs to rapidly store and retrieve data, as demonstrated by the attention mechanism in large language models. However, Transformers and linear attention variants are trained via backpropagation through time (BPTT), which has drawbacks such as its enormous memory requirements. Predictive coding (PC), an algorithm that optimizes a prediction-error energy function with local updates, offers a compelling solution but still lacks test-time memory for sequential data. We develop a solution to this problem by treating the per-step memory update $ΔS_t$ as a latent variable, as opposed to a slow weight to be learned. By taking the log probability of a standard PC-based probabilistic model, we derive a PC-native solution for verbatim sequence memory, and relate our update rule to common choices in the linear attention literature (e.g., DeltaNet). We present an extensive set of empirical tests to probe our system's properties, including its scaling capacity, memory footprint, and ability to infer a context from evidence (e.g., bank (river) vs. bank (money)). We show how DeltaNet-PC can be used for storing single sequences of data, multiple sequences of data, and key-value associative memory pairs with perfect recall accuracy.
• Abstract（参考訳）: シーケンシャルな情報のテストタイム記憶は、大規模言語モデルにおける注意機構によって示されるように、データを高速に保存し、取得するために必要なインテリジェントなシステムの基本機能である。 しかし、トランスフォーマーと線形アテンションの変種は、その膨大なメモリ要求などの欠点があるBPTT(backpropagation through time)によって訓練される。 予測符号化(PC)は、局所的な更新で予測エラーエネルギー関数を最適化するアルゴリズムであり、魅力的なソリューションを提供するが、シーケンシャルなデータに対するテスト時間メモリが不足している。 本稿では,各ステップ毎のメモリ更新$ΔS_t$を遅延変数として扱うことで,この問題を解決する。 標準PCベース確率モデルのログ確率を考慮し、冗長シーケンスメモリのためのPCネイティブソリューションを導出し、リニアアテンション文献(DeltaNetなど)の共通選択と更新ルールを関連付ける。 我々は,そのスケーリング能力,メモリフットプリント,エビデンス(例えば,銀行(川)対銀行(貨幣))からコンテキストを推測する能力など,システムの特性を調査するための広範な実証テストを提示した。 DeltaNet-PCがデータの単一シーケンス、複数のデータシーケンス、キー値連想メモリペアを完全なリコール精度で格納するためにどのように使用できるかを示す。

関連論文リスト

• Test-Time Memory Construction [50.916768004131505]
  大きな言語モデル(LLM)は、長いインタラクション履歴に関する質問に答えるのに苦労しています。 既存のメモリシステムは通常、ユーザクエリが観測される前に、オフラインで洗練されたメモリ表現を構築し維持する。 テスト時間メモリ構築フレームワークであるT$2$Memを提案する。
  論文  参考訳（メタデータ） (2026-10-09T10:24:51Z)
• Test-Time Adaptation of Reasoning Strategies with Bayesian Nonparametric Memory [13.72996269125319]
  本研究では,学習した振る舞いのクラスタを持つ構造化されたチートシートについて検討する。 本稿では,動作埋め込みに関する階層的ディリクレプロセスガウス混合モデル(HDP-GMM)を提案する。 ベイジアン・チートシートは適応的に再構成されたメモリモジュールであることを示す。
  論文  参考訳（メタデータ） (2026-10-05T15:30:58Z)
• GoTTA be Diverse: Rethinking Memory Policies for Test-Time Adaptation [54.70334474895361]
  テスト時間適応(TTA)は、事前訓練されたモデルが、分散シフトの下でラベルのないテストストリームにオンラインで適応できるようにする。 ほとんどのTTA研究は適応の目的に焦点を当てているが、実用的なストリームはどのサンプルが適応を駆動するかを選択するのに使用されるメモリにも大きく依存している。 本稿では,クラスバランスアロケーションと特徴空間の多様性を組み合わせた多様性を考慮したメモリポリシーであるGOTTAについて紹介する。
  論文  参考訳（メタデータ） (2026-05-19T14:18:46Z)
• Memory Caching: RNNs with Growing Memory [56.25483647131372]
  メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。 我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。 その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2026-02-27T18:53:41Z)
• Pre-Storage Reasoning for Episodic Memory: Shifting Inference Burden to Memory for Personalized Dialogue [13.558061425427688]
  PreMemは、複雑な推論プロセスを推論からメモリ構築に移行する新しいアプローチである。 これは、相互作用中の計算要求を減らしながら、リッチな表現を生成する。 実験では、すべてのモデルサイズで大幅にパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2025-09-13T15:18:08Z)
• Log-Augmented Generation: Scaling Test-Time Reasoning with Reusable Computation [80.69067017594709]
  大規模言語モデル(LLM)とそのエージェントモデルは、以前のタスクからの推論を維持するのに苦労する。 本稿では,従来の計算を直接再利用し,テスト時に過去のログから推論する新しいフレームワークであるLAGを提案する。 本手法は,ログを使用しない標準的なエージェントシステムよりも優れている。
  論文  参考訳（メタデータ） (2025-05-20T14:14:38Z)
• Memory Efficient Neural Processes via Constant Memory Attention Block [55.82269384896986]
  CMANP(Constant Memory Attentive Neural Processs)は、NPの変種である。 我々は,CMANPが従来の手法よりもはるかにメモリ効率が良く,NPベンチマークで最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-05-23T23:10:19Z)
• Sequential Memory with Temporal Predictive Coding [6.228559238589584]
  時空間予測符号化 (tPC) という, PC を用いた時空間メモリモデルを提案する。 我々のtPCモデルは、生物学的に妥当なニューラル実装を用いて、シーケンシャルな入力を正確に記憶し、取得できることを示します。
  論文  参考訳（メタデータ） (2023-05-19T20:03:31Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。