論文の概要: Memory by Design: Probabilistic Sequence Layers

• arxiv url: http://arxiv.org/abs/2605.31163v1
• Date: Fri, 29 May 2026 11:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.566261
• Title: Memory by Design: Probabilistic Sequence Layers
• Title（参考訳）: 設計によるメモリ:確率的シーケンス層
• Abstract要約: 本稿では,メモリに関する明示的な仮定から,効率的な逐次シーケンスマップを導出する方法を提案する。 設計モデルは、正確なベイズフィルタリングによって証拠を記憶に書き込む。 クエリ依存の読み出しは、平均が層出力である予測分布を生成する。
• 参考スコア（独自算出の注目度）: 19.16406809753255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce the design-model framework: a way to derive efficient recurrent sequence maps from explicit assumptions about memory. A design model writes evidence into memory by exact Bayesian filtering; a query-dependent readout produces a predictive distribution whose mean is the layer output. In our linear-Gaussian instantiation, the \emph{Bayesian Layer} propagates both a mean and a covariance: the covariance tracks uncertainty over stored associations, steering writes toward uncertain directions, attenuating gains as evidence accumulates, and preserving confident memories. The same framework unifies several sub-quadratic recurrences. Linear attention, GLA, and Mamba-2/SSD are exact filters under one design model, whereas DeltaNet and related Delta-rule models arise as covariance-reset reductions under another. Restoring the covariance yields closed-form predictions for retrieval dynamics, verified empirically, and improves robustness beyond the training regime across controlled collision studies, learned associative recall, and the Zoology MQAR benchmark; distilling Bayesian Layers into a pretrained 340M Gated DeltaNet improves RULER long-context retrieval at matched compute.
• Abstract（参考訳）: 本稿では,メモリに関する明示的な仮定から,効率的な逐次シーケンスマップを導出する設計モデルフレームワークを紹介する。 設計モデルは、正確なベイズフィルタリングによってエビデンスをメモリに書き込む;クエリ依存の読み出しは、平均が層出力である予測分布を生成する。 線形ガウスのインスタンス化では、emph{Bayesian Layer} は平均と共分散の両方を伝播し、共分散は保存された関連性に対する不確実性を追跡し、不確実な方向に向けて書き込みを操り、証拠が蓄積されるにつれて利得を減らし、自信ある記憶を保存する。 同じフレームワークは、いくつかのサブクアクラティックな再帰を統一する。 線形アテンション、GLA、Mamba-2/SSDは1つの設計モデルの下で正確なフィルタであるのに対し、DeltaNetと関連するDelta-ruleモデルは、別の設計モデル下で共分散リセットの低減として発生する。 共分散を復元すると、探索力学のクローズドフォーム予測が得られ、実験的に検証され、制御された衝突研究、学習された連想リコール、およびZoology MQARベンチマークのトレーニング体制を超えて堅牢性が向上し、ベイズ層を事前訓練された340M Gated DeltaNetに蒸留することで、マッチした計算におけるRULER長文検索が改善される。

関連論文リスト

• The Laws of Context Allocation: Causal Measurement and Closed-Loop Orchestration in Generative Search [19.846305722187328]
  Retrieval-Augmented Generation (RAG)は、多様なポートフォリオ生成にシフトする。 これは2つの重要なボトルネック、すなわち証拠利用率の欠陥測定と、最適条件下予算配分によって悪影響を受けている。 本稿では,遺伝子依存を正確に分離する因果排除プローブを提案する。 モノリシック・コンテキスト・ワイドニング(モノリシック・コンテキスト・ワイドニング)の一般的な戦略は、関連性の崩壊によって罰せられるアーキテクチャ・トラップであることを示す。
  論文  参考訳（メタデータ） (2026-08-24T13:44:11Z)
• Joint Model and Data Sparsification via the Marginal Likelihood [53.29070892356214]
  本稿では,個々の特徴とサンプルの相違点を同時学習し,同時にモデルとデータスペーシングを実現することを提案する。 このモデルとデータの対称的なプルーニングは、共役を保存する自然な拡張を提供する。 多様な回帰タスクにわたる経験的結果は、共同ARDアプローチがスパースモデルとロバスト予測モデルの両方を一貫して生成することを確認した。
  論文  参考訳（メタデータ） (2026-05-28T13:26:53Z)
• Stop Marginalizing My Dreams: Model Inversion via Laplace Kernel for Continual Learning [8.71890550161683]
  データのない連続学習は、擬似サンプルを合成し、破滅的な忘れを忘れるモデル逆転に依存している。 既存の反転法は単純化された仮定によって制限される。 本稿では,DFCILの有効成分として,機能依存のモデル化が重要であることを示す。
  論文  参考訳（メタデータ） (2026-05-12T08:59:27Z)
• Amortized Variational Inference for Logistic Regression with Missing Covariates [4.027766797152636]
  Amortized Variational Inference for Logistic Regression (AV-LR) は、バイナリロジスティック回帰のための統一されたエンドツーエンドフレームワークである。 AV-LRは、確率的生成モデルと単純な償却推論ネットワークを統合する。 計算コストを大幅に削減し、最先端のEMライクなアルゴリズムと同等かそれ以上の精度で推定できる。
  論文  参考訳（メタデータ） (2026-03-22T14:00:59Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Representation Similarity: A Better Guidance of DNN Layer Sharing for Edge Computing without Training [3.792729116385123]
  本稿では,表現類似度Sで導かれる表現をエッジで共有することで,新しいモデルマージ方式を提案する。 Pearson correlation Coefficient |r| > 0.94 than other metrics。
  論文  参考訳（メタデータ） (2024-10-15T03:35:54Z)
• Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
  スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。 提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。 合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
  論文  参考訳（メタデータ） (2023-10-03T20:37:03Z)
• CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
  本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。 CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。 我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-26T20:14:30Z)
• Parameter Decoupling Strategy for Semi-supervised 3D Left Atrium Segmentation [0.0]
  本稿では,パラメータ分離戦略に基づく半教師付きセグメンテーションモデルを提案する。 提案手法は,Atrial Challengeデータセット上での最先端の半教師付き手法と競合する結果を得た。
  論文  参考訳（メタデータ） (2021-09-20T14:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。