論文の概要: Voltic: Distinguishing Volatility from Stochasticity in Recurrent Memory

• arxiv url: http://arxiv.org/abs/2610.05700v1
• Date: Mon, 05 Oct 2026 02:23:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 04:59:13.879197
• Title: Voltic: Distinguishing Volatility from Stochasticity in Recurrent Memory
• Title（参考訳）: Voltic: 連続記憶における確率性からのボラティリティの排除
• Abstract要約: この書き込みは、2つのソースから反対方向にプルする不確実性によって設定された、Kalmanアップデートの恩恵である。 ゲート型デルタルールメモリの更新は、このフィルタが等方的不確実性の下で行う外挿であることを示す。 本稿では、共分散を異方性に保ち、両方のノイズ分散を入力依存にするリカレントメモリであるVolticを紹介する。
• 参考スコア（独自算出の注目度）: 2.5673593822979868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent sequence models must decide how strongly to overwrite their memory at each token. Read as Bayesian filtering, this write is the gain of a Kalman update, set by uncertainty from two sources that pull it in opposite directions: volatility, how quickly the underlying associations change, and stochasticity, how noisy each observation of them is. First, we show that the update of gated delta-rule memories is the form this filter takes under isotropic uncertainty. Next, we introduce Voltic, a recurrent memory that keeps the covariance anisotropic and makes both noise variances input-dependent, so the write is vector-valued and carries uncertainty accumulated over the sequence. A dense covariance would have to be propagated token by token, ruling out the parallel training these models depend on. We therefore give two assumed-density approximations, diagonal and quasi-diagonal, both of which leave the memory update in delta-rule form and reuse its chunked kernels. On controlled recall tasks in which associations change and observations are corrupted, Voltic leads all baselines. On the task combining volatility and stochasticity, its margin over the strongest baseline is larger at both extrapolation sizes than at the training sizes. In 45M-parameter language models it leads an eight-task reasoning average and achieves higher retrieval accuracy beyond the training context length than gated baselines, at throughput close to those baselines. Deriving the write from an uncertainty recursion therefore makes memory more responsive to change.
• Abstract（参考訳）: リカレントシーケンスモデルは、トークン毎にメモリを過度に上書きするかを決定する必要がある。 ベイジアン・フィルタリング(Bayesian filtering)として読めば、この文章はカルマンの更新(Kalman update)の恩恵であり、ボラティリティ(Volatility)、基礎となる関連性の変化の速さ、確率性(stchasticity)、各観測のノイズ(noisy)、という2つの情報源からの不確実性によって設定されている。 まず、ゲート型デルタルールメモリの更新が、このフィルタが等方的不確実性の下にあることを示す。 次に、共分散を異方性に保ち、両方のノイズ分散を入力依存にするリカレントメモリであるVolticを紹介する。 密な共分散はトークンによって伝播し、これらのモデルが依存する並列トレーニングを除外する必要がある。 そこで我々は2つの仮定密度近似、対角線と準対角線を与え、どちらもメモリ更新をデルタルールに残し、そのチャンク化されたカーネルを再利用する。 関連が変化し、観察が破損する制御されたリコールタスクにおいて、ボルティックはすべてのベースラインをリードする。 ボラティリティと確率性を組み合わせたタスクでは、最強ベースラインに対するマージンは、トレーニングサイズよりも外挿サイズともに大きい。 45Mパラメータ言語モデルでは、8タスクの推論平均を導出し、ゲートベースラインに近いスループットで、トレーニングコンテキスト長よりも高い検索精度を達成する。 不確実な再帰から書き込みを導出することで、メモリは変化に対してより応答性が高い。

関連論文リスト

• Kalman Delta Networks: Uncertainty-aware Associative Memory [27.530297884143604]
  線形ガウス状態空間モデルとして再帰的連想記憶を再構成する。 KDN内では、遷移は記憶状態と不確実性の両方を伝播させる。 KDNの変種は、最先端のリニアアテンションモデルよりも相反するパープレキシティと平均下流精度を向上させる。
  論文  参考訳（メタデータ） (2026-09-07T17:53:29Z)
• What Does a Discrete Diffusion Model Learn? [71.03603607324338]
  離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。 まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。 すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
  論文  参考訳（メタデータ） (2026-07-06T17:56:11Z)
• The Orthogonalized Read Is a Removable Training Scaffold for Recurrent Memory [0.0]
  効果は再現されるが、メモリ改善ではない。 この任務の訓練は、急激な脱出に続き、長い確率の台地である。 公開された利益の多くは、アーキテクチャをまったく必要としない。
  論文  参考訳（メタデータ） (2026-07-02T18:54:23Z)
• Memory by Design: Probabilistic Sequence Layers [19.16406809753255]
  本稿では,メモリに関する明示的な仮定から,効率的な逐次シーケンスマップを導出する方法を提案する。 設計モデルは、正確なベイズフィルタリングによって証拠を記憶に書き込む。 クエリ依存の読み出しは、平均が層出力である予測分布を生成する。
  論文  参考訳（メタデータ） (2026-05-29T11:13:00Z)
• Divergence is Uncertainty: A Closed-Form Posterior Covariance for Flow Matching [8.603039700922809]
  フローマッチングは生成モデルの主要なフレームワークとなっているが、サンプルの不確かさの定量化は未解決の問題である。 これらのトレードオフはいずれも必要ありません。 MNISTの実験により、ピクセルごとの不確実性マップが意味論的に意味があることが確認された。
  論文  参考訳（メタデータ） (2026-05-01T04:25:00Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。