論文の概要: DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention

• arxiv url: http://arxiv.org/abs/2610.41994v1
• Date: Fri, 30 Oct 2026 16:39:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.813111
• Title: DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention
• Title（参考訳）: DAMI:2軸メモリ初期化によるGated Linear AttentionにおけるLong-Context Retrievalの強化
• Abstract要約: ゲート線形再発では、メモリ保持は状態崩壊に依存し、ゲートパラメータA_logとdt_biasで結合して形成される。 本稿では、Dual-Axis Memory Initialization (DAMI)を導入し、これらのパラメータをトレーニング前に共同で設定する。 DAMIは、対応するランダム初期化ベースラインに対して平均RULERスタイルの検索精度を5.29から16.71ポイント改善する。
• 参考スコア（独自算出の注目度）: 24.669827752885045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear attention scales linearly with sequence length, but its finite-state memory can limit long-context retrieval. In gated linear recurrences, memory retention depends on state decay, which is shaped jointly by gate parameters A_log and dt_bias and by input activations. In controlled Gated DeltaNet (GDN) experiments, both parameters remain highly correlated with their initial values after training, highlighting the importance of initialization. Therefore, we introduce Dual-Axis Memory Initialization (DAMI), which jointly configures these parameters before training. DAMI assigns geometric timescales across heads for varied retrieval distances and a low-high-low input-sensitivity profile across layers. A small activation sample calibrates the GDN-family implementation to match both behavioral targets without adding trainable parameters. Across GDN, KDA, GDN2, Mamba-2, and RWKV-7, DAMI improves average RULER-style retrieval accuracy by 5.29 to 16.71 percentage points over the corresponding random-initialization baselines. Performance on language modeling, commonsense reasoning, and 2K real-world retrieval remains broadly comparable to those baselines. Our code is available at https://speedai.com/research/dami.
• Abstract（参考訳）: 線形アテンションはシーケンス長と線形にスケールするが、有限状態メモリは長文検索を制限することができる。 ゲートリニアリカレンスでは、メモリ保持は状態崩壊に依存し、ゲートパラメータA_logとdt_biasと入力アクティベーションによって結合して形成される。 制御されたGated DeltaNet(GDN)実験では、両方のパラメータはトレーニング後の初期値と強く相関し、初期化の重要性を強調している。 そこで、DAMI(Dual-Axis Memory Initialization)を導入し、これらのパラメータをトレーニング前に共同で設定する。 DAMIは、異なる検索距離と層間の低入力感度プロファイルのために、ヘッド間の幾何学的タイムスケールを割り当てる。 小さなアクティベーションサンプルはGDNファミリーの実装を校正し、トレーニング可能なパラメータを追加することなく両方の動作目標を一致させる。 GDN、KDA、GDN2、Mamba-2、RWKV-7全体で、DAMIは対応するランダム初期化ベースラインに対して平均RULERスタイルの検索精度を5.29から16.71ポイント改善する。 言語モデリング、コモンセンス推論、および2K実世界の検索における性能は、これらのベースラインと大きく同等である。 私たちのコードはhttps://speedai.com/research/dami.comで公開されています。

関連論文リスト

• Kalman Delta Networks: Uncertainty-aware Associative Memory [27.530297884143604]
  線形ガウス状態空間モデルとして再帰的連想記憶を再構成する。 KDN内では、遷移は記憶状態と不確実性の両方を伝播させる。 KDNの変種は、最先端のリニアアテンションモデルよりも相反するパープレキシティと平均下流精度を向上させる。
  論文  参考訳（メタデータ） (2026-09-07T17:53:29Z)
• Predict, Don't Iterate: Efficient Adaptive-Length Infilling for Diffusion Language Models [78.02669593911784]
  拡散言語モデル (DLMs) は自己回帰パラダイムに代わる有望な代替品として登場した。 本稿では,DLMの効率的な埋め込み法であるPILL(Probing-based InfiLling with preset-Length-free decoding)を提案する。
  論文  参考訳（メタデータ） (2026-09-02T04:52:01Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Efficient Parametric Approximations of Neural Network Function Space Distance [6.117371161379209]
  モデルパラメータとトレーニングデータの重要な特性をコンパクトに要約して、データセット全体を保存または/または反復することなく後で使用できるようにすることが、しばしば有用である。 我々は,FSD(Function Space Distance)をトレーニングセット上で推定することを検討する。 本稿では、線形化活性化TRick (LAFTR) を提案し、ReLUニューラルネットワークに対するFSDの効率的な近似を導出する。
  論文  参考訳（メタデータ） (2023-02-07T15:09:23Z)
• ORFit: One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares [5.430441358049335]
  本研究では,従来のデータポイントを再学習することなく,逐次到着するデータに対してモデルを訓練するワンパス学習の問題点について検討する。 我々は,従来のデータポイントの予測を最小限に変更しつつ,各データポイントに完全に適合するワンパス学習アルゴリズムOrthogonal Recursive Fitting (ORFit)を提案する。
  論文  参考訳（メタデータ） (2022-07-28T02:01:31Z)
• Streaming Linear System Identification with Reverse Experience Replay [45.17023170054112]
  本稿では,線形時間不変(LTI)力学系を,ストリーミングアルゴリズムによる単一軌道から推定する問題を考察する。 強化学習(RL)で遭遇する多くの問題において、勾配オラクルを用いて囲碁上のパラメータを推定することが重要である。 本稿では,RL文学で人気のある経験リプレイ(ER)技術に触発された小説SGD with Reverse Experience Replay (SGD-RER)を提案する。
  論文  参考訳（メタデータ） (2021-03-10T06:51:55Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。