Fugu-MT 論文翻訳(概要): Fast Weight Attention for Continual Learning

論文の概要: Fast Weight Attention for Continual Learning

arxiv url: http://arxiv.org/abs/2608.27763v1
Date: Thu, 27 Aug 2026 22:55:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-31 17:16:04.16148
Title: Fast Weight Attention for Continual Learning
Title（参考訳）: 継続的な学習のための高速ウェイトアテンション
Abstract要約: リカレント高速記憶と選択状態空間モデルは、拡張コンテキストを固定サイズのリカレント状態に圧縮する。正則化された二乗誤差回帰と負の内積目標の1次更新を導出する。我々は、数値的に安定な正のデカイ再正規化とともに、繰り返し、マスクパラレル、チャンクパラレル形式を提供する。
参考スコア（独自算出の注目度）: 75.34672054079408
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recurrent fast-weight memories and selective state-space models compress an expanding context into a fixed-size recurrent state, making the state transition an online learning rule. We study this rule under read-after-write autoregressive semantics. For the prefix-prediction objective considered here, the local fast-memory example revealed at step $t$ is the prefix-aligned pair $(\mathbf{x}_t,\mathbf{y}_t)=(φ(\mathbf{k}_{t-1}),\mathbf{v}_t)$. The common same-step association $(φ(\mathbf{k}_t),\mathbf{v}_t)$ remains causal, but optimizes a different internal objective. We derive normalized first-order updates for squared-error regression and negative inner-product objectives. The regression family comprises Falcon-1 (a scalar NLMS update), Falcon-2 (its per-column extension), and Falcon-3 (a sliding-window mini-batch update); Falcon-1A/Falcon-2A/Falcon-3A are the corresponding inner-product variants. We provide recurrent, masked-parallel, and chunk-parallel forms, together with numerically stable positive-decay renormalization. Representative variants remain competitive in language modeling and improve length extrapolation on variable-digit addition. This framework separates temporal alignment, plasticity, forgetting, and bounded rehearsal in recurrent sequence models.
Abstract（参考訳）: リカレント高速記憶と選択状態空間モデルは、拡張コンテキストを固定サイズのリカレント状態に圧縮し、状態遷移をオンライン学習規則とする。我々はこのルールをリード・アフター・ライト・オートレグレッシブ・セマンティクスの下で研究する。ここで考慮されたプレフィックス予測対象について、ステップ $t$ で明らかにされた局所的な高速メモリ例は、プレフィックス整列ペア $(\mathbf{x}_t,\mathbf{y}_t)=(φ(\mathbf{k}_{t-1}),\mathbf{v}_t)$ である。共通な同段結合 $(φ(\mathbf{k}_t),\mathbf{v}_t)$ は因果的であるが、異なる内部目的を最適化する。正則化された二乗誤差回帰と負の内積目標の1次更新を導出する。回帰系はファルコン-1(スカラーNLMS更新)、ファルコン-2(カラムごとの更新)、ファルコン-3(スライドウインドウのミニバッチ更新)、ファルコン-1A/ファルコン-2A/ファルコン-3Aが対応する内積型である。我々は、数値的に安定な正のデカイ再正規化とともに、繰り返し、マスクパラレル、チャンクパラレル形式を提供する。代表的変種は、言語モデリングにおいて競争力を維持し、可変桁加算における長さ外挿を改善する。このフレームワークは、繰り返しシーケンスモデルにおける時間的アライメント、可塑性、忘れ、および有界リハーサルを分離する。

関連論文リスト

SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
論文参考訳（メタデータ） (2026-08-23T10:41:07Z)
High-Dimensional Nonparametric Change-Point Detection via Low-Rank Degree-Three Density Projection [2.1991623402625606]
分布の変化は手段に見えず、共変は歪み、非対称な相互作用、または他の3階構造に現れる。我々は, 直接密度推定を回避しつつ, 密度の最大3次係数を全て保持する非パラメトリックな変化点法を開発した。
論文参考訳（メタデータ） (2026-08-16T01:21:55Z)
Naju: A Native Discrete State-Space Model with Independent Retention and Writing for Long-Sequence Memory [7.4750926696730895]
Najuはリカレント更新を、スキーマ的に$x_n = f_nodot x_n-1 + i_nodot(B_n u_n)$に分解する。ナジュは、強い長距離メモリと競争力や優れたパフォーマンスを一貫して組み合わせている。
論文参考訳（メタデータ） (2026-07-23T07:34:07Z)
Scaling Laws for Behavioral Foundation Models over User Event Sequences [2.924581427482972]
本稿では、共通の2部分の振る舞いモデルアーキテクチャ、特徴ベースのイベント埋め込み、デコーダのみの変換器について検討する。約600回にわたって、実際のインタラクションデータで動作し、トレーニング用FLOPは1015ドルから1019ドルの範囲で、デプロイ関連軸が4つあります。計算最適トレーニングは低計算時のテキストと比較してデータ量が多いが、計算量が増加するにつれて、そのD/N$比はチンチラに向かう。
論文参考訳（メタデータ） (2026-06-03T15:59:25Z)
INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。 $mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文参考訳（メタデータ） (2025-11-16T20:14:28Z)
FedAdamW: A Communication-Efficient Optimizer with Convergence and Generalization Guarantees for Federated Large Models [27.658955798426323]
AdamWは、大規模なモデルをトレーニングするための最も効果的な一般化の1つになった。我々は、様々な大規模モデルのトレーニングと微調整を行うために、textttFedAdamWと呼ばれる最初のアンダーラインAdamWアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-10-31T14:04:43Z)
Self-Ensembling Gaussian Splatting for Few-Shot Novel View Synthesis [55.561961365113554]
3D Gaussian Splatting (3DGS) は新規ビュー合成(NVS)において顕著な効果を示した本稿では,Self-Ensembling Gaussian Splatting(SE-GS)を紹介する。我々は,トレーニング中に不確実性を認識した摂動戦略を導入することで,自己理解を実現する。 LLFF, Mip-NeRF360, DTU, MVImgNetデータセットによる実験結果から, 本手法がNVSの品質を向上させることを示す。
論文参考訳（メタデータ） (2024-10-31T18:43:48Z)
High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation [89.21686761957383]
2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
論文参考訳（メタデータ） (2022-05-03T12:09:59Z)
Modeling Label Correlations for Second-Order Semantic Dependency Parsing with Mean-Field Inference [34.75002236767817]
エンド・ツー・エンド平均場推論を用いた2次セマンティック解析は優れた性能を示した。本研究では,隣り合う弧間のラベル相関をモデル化することで,この手法を改善することを目的とする。この計算課題に対処するために、テンソル分解技術を利用する。
論文参考訳（メタデータ） (2022-04-07T17:40:08Z)
On Submodular Contextual Bandits [92.45432756301231]
作用が基底集合の部分集合であり、平均報酬が未知の単調部分モジュラ函数によってモデル化されるような文脈的包帯の問題を考える。 Inverse Gap Weighting 戦略により,提案アルゴリズムは推定関数の局所的最適度を効率よくランダム化することを示す。
論文参考訳（メタデータ） (2021-12-03T21:42:33Z)
Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。彼らは不利な姿勢と収束の不安定さに悩まされる。本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文参考訳（メタデータ） (2021-06-06T18:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。