論文の概要: Kalman Delta Networks: Uncertainty-aware Associative Memory

• arxiv url: http://arxiv.org/abs/2609.07816v1
• Date: Mon, 07 Sep 2026 17:53:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.496116
• Title: Kalman Delta Networks: Uncertainty-aware Associative Memory
• Title（参考訳）: Kalman Delta Networks: 不確かさを意識した連想記憶
• Abstract要約: 線形ガウス状態空間モデルとして再帰的連想記憶を再構成する。 KDN内では、遷移は記憶状態と不確実性の両方を伝播させる。 KDNの変種は、最先端のリニアアテンションモデルよりも相反するパープレキシティと平均下流精度を向上させる。
• 参考スコア（独自算出の注目度）: 27.530297884143604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear attention is increasingly used in frontier language models for efficient long-context inference and constant-memory decoding. Its fixed-size recurrent memory, however, requires an online decision at each token: what to write and how strongly to overwrite existing associations before knowing which information future queries will require. Delta-rule models learn this strength from the current token embedding but do not track confidence in the memory estimate, preventing each write from adapting to accumulated evidence. To represent this uncertainty explicitly, we reformulate recurrent associative memory as a linear--Gaussian state-space model, for which the Kalman filter is the optimal recursive estimator, and introduce a new family of models, Kalman Delta Networks (KDNs). Within KDNs, the transition propagates both the memory state and its uncertainty, allowing the Kalman gain to weight each residual write by accumulated evidence and observation reliability. Under this formulation, Delta-style updates emerge as a special case that substitutes a token-wise isotropic surrogate for predictive covariance and omits covariance tracking. Exact tracking, however, entails a dense, state-dependent Riccati recursion that is poorly suited to GPU-parallel linear-attention scans. To address this issue, we introduce two scan-compatible KDN approximations. Diagonal KDN projects each one-step posterior onto the diagonal Gaussian family through online mean-field variational inference, whereas Isotropic KDN uses an isotropic approximation with a single uncertainty scalar per head. Their uncertainty recurrences are Mobius maps, enabling associative scans with logarithmic parallel depth. Across controlled pretraining at 750M and 1.3B parameters, KDN variants consistently improve perplexity and mean downstream accuracy over state-of-the-art linear-attention models.
• Abstract（参考訳）: 線形注意は、より効率的な長文推論と定数メモリ復号のために、フロンティア言語モデルでますます使われている。 しかし、その固定サイズのリカレントメモリは、どのトークンを書くか、どのように既存のアソシエーションを上書きするかというオンライン決定を各トークンで必要とします。 デルタルールモデルは、現在のトークン埋め込みからこの強度を学習するが、メモリ推定の信頼性を追跡せず、各書き込みが蓄積された証拠に適応するのを防ぐ。 この不確実性を明確に表現するために、我々は、カルマンフィルタが最適再帰的推定器である線形-ガウス状態空間モデルとして再帰的連想メモリを再構成し、新しいモデルのファミリーであるカルマンデルタネットワーク(KDN)を導入する。 KDN内では、遷移は記憶状態とその不確実性の両方を伝播し、カルマンのゲインは蓄積された証拠と観測信頼性によって各残留書き込みを重み付けする。 この定式化の下で、デルタスタイルの更新は、予測共分散のためにトークン単位の等方性サロゲートを置換し、共分散追跡を省略する特別なケースとして現れる。 しかし、正確なトラッキングには、GPU並列リニアアテンションスキャンにはあまり適さない、密集した状態依存のRiccati再帰が必要です。 この問題に対処するために、スキャン互換のKDN近似を2つ導入する。 対角KDNは、オンライン平均場変動推定により、対角ガウス族にそれぞれ1段階後方に投射する一方、等方KDNは、頭部に1つの不確実スカラーを持つ等方近似を用いる。 それらの不確実な再帰はMobius mapであり、対数平行深さを持つ連想走査を可能にする。 750Mと1.3Bのパラメータで事前訓練を制御されたKDNの変種は、最先端のリニアアテンションモデルよりも常にパープレキシティと平均下流精度を改善している。

関連論文リスト

• What Does a Discrete Diffusion Model Learn? [71.03603607324338]
  離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。 まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。 すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
  論文  参考訳（メタデータ） (2026-07-06T17:56:11Z)
• Memory by Design: Probabilistic Sequence Layers [19.16406809753255]
  本稿では,メモリに関する明示的な仮定から,効率的な逐次シーケンスマップを導出する方法を提案する。 設計モデルは、正確なベイズフィルタリングによって証拠を記憶に書き込む。 クエリ依存の読み出しは、平均が層出力である予測分布を生成する。
  論文  参考訳（メタデータ） (2026-05-29T11:13:00Z)
• OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention [12.93065958346192]
  Online Scaled DeltaNetは、JRTスタイルのインコンテキストリコールをDeltaNetよりも32%改善した。 1.3Bパラメータにスケーリングすると、リコール残差比が39%減少する。
  論文  参考訳（メタデータ） (2026-05-13T12:59:26Z)
• Kaczmarz Linear Attention [11.650692583508663]
  リニアリカレントモデルはコンテキストを固定サイズの状態に圧縮し、情報を忘れ、書き、編集するルールを中心的な設計問題とする。 Gated DeltaNet (GDN) は、ゲート状態崩壊とデルタルール残差書き込みを結合し、学習可能な係数を用いて、忘れと更新の規模をバランスさせる。 状態形状,ゲート,リニアリカレンス,チャンクワイズ並列アルゴリズムを保存するGDNの1スカラー修正であるKaczmarz Linear (KLA)を提案する。
  論文  参考訳（メタデータ） (2026-05-09T01:07:01Z)
• Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences [51.38664601405696]
  我々はDeltaNet,GDN,KDAのプレコンディション付き変種を,効率的なチャンクワイズ並列アルゴリズムとともに導入する。 予備条件付きデルタルールの繰り返しは,340M,1Bスケールでの合成リコールベンチマークと言語モデリングにおいて一貫した性能向上をもたらす。
  論文  参考訳（メタデータ） (2026-04-22T21:38:25Z)
• Memory-Conditioned Flow-Matching for Stable Autoregressive PDE Rollouts [0.0]
  自己回帰生成型PDEソルバは1歩前進し、長いロールアウトでドリフトする。 未解決変数の除去はマルコフ項で完全に解決された進化をもたらすことを示す。 次に、条件生成誤差からメモリ近似を分離する離散的なGrnwallロールアウト境界を導出する。
  論文  参考訳（メタデータ） (2026-02-06T13:21:52Z)
• Variational Bayesian Flow Network for Graph Generation [54.94088904387278]
  グラフ生成のための変分ベイズフローネットワーク(VBFN)を提案する。 VBFNは、構造化精度で支配されるトラクタブルジョイントガウス変分信念ファミリーに対して変分リフトを行う。 合成グラフと分子グラフのデータセットでは、VBFNは忠実度と多様性を改善し、ベースライン法を超えている。
  論文  参考訳（メタデータ） (2026-01-30T03:59:38Z)
• Gated KalmaNet: A Fading Memory Layer Through Test-Time Ridge Regression [53.48692193399171]
  Gated KalmaNet(GKA)は、次のトークンを予測する際に、すべての過去を説明することによってギャップを低減するレイヤである。 テスト時間におけるオンラインリッジ回帰問題を一定メモリと線形計算コストで解決する。 ロングコンテキストでは、GKAは現実世界のRAGタスクとLongQAタスクを最大128kトークンまで拡張し、他の薄型メモリベースラインよりも10ドル%以上の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2025-11-26T03:26:37Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。