Fugu-MT 論文翻訳(概要): FG$^2$-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control

論文の概要: FG$^2$-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control

arxiv url: http://arxiv.org/abs/2604.19021v1
Date: Tue, 21 Apr 2026 03:15:28 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-22 22:41:49.590883
Title: FG$^2$-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control
Title（参考訳）: FG$^2$-GDN:Double Fine-Grained ControlによるLong-Context Gated Delta Networkの強化
Abstract要約: 線形アテンション機構はソフトマックスアテンションに代わる有望な代替手段として出現している。 FG$2$-GDNを導入し、スカラー$_t$をチャネルワイドベクトルに置き換える。実験により、FG$2$-GDNとその変種は連想的リコールと長文理解を改善した。
参考スコア（独自算出の注目度）: 31.409429284036776
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Linear attention mechanisms have emerged as promising alternatives to softmax attention, offering linear-time complexity during inference. Recent advances such as Gated DeltaNet (GDN) and Kimi Delta Attention (KDA) have demonstrated that the delta rule, an online gradient descent update, enables superior associative recall compared to simple additive updates. While KDA refined the coarse head-wise decay gate into channel-wise decay, the learning rate $β_t$ in the delta update remains a scalar, limiting the model's capacity for dimension-specific adaptation. We introduce FG$^2$-GDN, which replaces the scalar $β_t$ with a channel-wise vector analogous to the transition from SGD to per-coordinate adaptive optimizers such as AdaGrad and Adam. We further propose FG$^2$-GDN+, which decouples the scaling for keys and values, enabling independent control of erasure strength and write strength. Experiments on synthetic and real-world benchmarks show that FG$^2$-GDN and its variant improve associative recall and long-context understanding over GDN and KDA, with comparable computational efficiency.
Abstract（参考訳）: 線形アテンションメカニズムはソフトマックスアテンションに代わる有望な代替手段として現れ、推論中に線形時間複雑性を提供する。 Gated DeltaNet (GDN) や Kimi Delta Attention (KDA) といった最近の進歩は、オンラインの勾配降下更新であるデルタルールが、単純な付加的更新よりも優れた連想的リコールを可能にすることを示した。 KDAは粗いヘッドワイズ崩壊ゲートをチャネルワイズ崩壊に洗練させたが、デルタ更新における学習レート$β_t$はスカラーのままであり、モデルの寸法特化能力は制限された。本稿では,FG$^2$-GDNを導入し,このスカラー$β_t$を,SGDからAdaGradやAdamなどの適応最適化器への遷移に類似したチャネルワイドベクトルに置き換える。さらに、鍵と値のスケーリングを分離し、消去強度と書き込み強度の独立制御を可能にするFG$^2$-GDN+を提案する。合成および実世界のベンチマーク実験により、FG$^2$-GDNとその変種は、GDNとKDAに対する連想的リコールと長いコンテキスト理解を改善し、計算効率に匹敵することを示した。

関連論文リスト

Kalman Delta Networks: Uncertainty-aware Associative Memory [27.530297884143604]
線形ガウス状態空間モデルとして再帰的連想記憶を再構成する。 KDN内では、遷移は記憶状態と不確実性の両方を伝播させる。 KDNの変種は、最先端のリニアアテンションモデルよりも相反するパープレキシティと平均下流精度を向上させる。
論文参考訳（メタデータ） (2026-09-07T17:53:29Z)
Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention [81.79922329750674]
リニアアテンションは、ソフトマックスアテンションのキャッシュを固定サイズのリカレント状態に置き換え、シーケンシャルミキシングを線形時間に短縮し、定メモリに復号する。我々はGated DeltaNet-2を紹介し、Gated DeltaNetとKim Delta Attentionの両方を一般化する。 Gated DeltaNet-2は、言語モデリング、常識推論、検索にまたがるMamba Gated DeltaNet、KDA、Mamba-3の変種の中で、最も優れた総合的な結果を得る。
論文参考訳（メタデータ） (2026-05-21T17:44:57Z)
OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention [12.93065958346192]
Online Scaled DeltaNetは、JRTスタイルのインコンテキストリコールをDeltaNetよりも32%改善した。 1.3Bパラメータにスケーリングすると、リコール残差比が39%減少する。
論文参考訳（メタデータ） (2026-05-13T12:59:26Z)
Kaczmarz Linear Attention [11.650692583508663]
リニアリカレントモデルはコンテキストを固定サイズの状態に圧縮し、情報を忘れ、書き、編集するルールを中心的な設計問題とする。 Gated DeltaNet (GDN) は、ゲート状態崩壊とデルタルール残差書き込みを結合し、学習可能な係数を用いて、忘れと更新の規模をバランスさせる。状態形状,ゲート,リニアリカレンス,チャンクワイズ並列アルゴリズムを保存するGDNの1スカラー修正であるKaczmarz Linear (KLA)を提案する。
論文参考訳（メタデータ） (2026-05-09T01:07:01Z)
MDN: Parallelizing Stepwise Momentum for Delta Linear Attention [27.145174798663035]
線形注意(LA)は、大規模言語モデルを長いシーケンスにスケールするための有望なパラダイムを提供する。 Mamba2やGDNのような最近のLAモデルは、線形反復を閉形式オンライン勾配勾配として解釈する。 Momentum DeltaNet (MDN) はTritonカーネルを活用して、競合する線形モデルと同等のトレーニングスループットを実現する。
論文参考訳（メタデータ） (2026-05-07T08:12:09Z)
Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences [51.38664601405696]
我々はDeltaNet,GDN,KDAのプレコンディション付き変種を,効率的なチャンクワイズ並列アルゴリズムとともに導入する。予備条件付きデルタルールの繰り返しは,340M,1Bスケールでの合成リコールベンチマークと言語モデリングにおいて一貫した性能向上をもたらす。
論文参考訳（メタデータ） (2026-04-22T21:38:25Z)
DeltaSeg: Tiered Attention and Deep Delta Learning for Multi-Class Structural Defect Segmentation [1.2904450317782683]
本稿では,Squeeze-and-Excitation(SE)チャネルアテンションをエンコーダに組み込んだU字型エンコーダデコーダアーキテクチャ,ボトルネックとデコーダのコーディネートアテンション,スキップ接続における新しいDeep Delta Attention(DDA)機構を提案する。両方のベンチマークでDeltaSegは、U-Net、SA-UNet、UNet3+、SegFormer、Swin-UNet、EGE-UNet、FPN、Mobile-UNETRを含む12の競合アーキテクチャを一貫して上回っている。
論文参考訳（メタデータ） (2026-04-20T18:49:16Z)
DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products [60.72655477351486]
リニアリカレントニューラルネットワーク(線形RNN)は、シーケンスモデリングのためのトランスフォーマーの競合代替手段として登場した。既存のアーキテクチャは、表現性と効率の基本的なトレードオフに直面しており、状態遷移行列の構造によって規定されている。
論文参考訳（メタデータ） (2025-02-14T16:59:05Z)
Gated Delta Networks: Improving Mamba2 with Delta Rule [64.58149707073915]
Gated DeltaNetは、複数のベンチマークで、Mamba2やDeltaNetのような既存のモデルを一貫して上回っている。我々は,Gated DeltaNet 層とスライディングウィンドウアテンション,あるいは Mamba2 層を組み合わせたハイブリッドアーキテクチャを開発し,学習効率の向上とタスク性能の向上を実現した。
論文参考訳（メタデータ） (2024-12-09T13:09:04Z)
LinGCN: Structural Linearized Graph Convolutional Network for Homomorphically Encrypted Inference [19.5669231249754]
本稿では,乗算深度を低減し,HEに基づくGCN推論の性能を最適化するLinGCNを提案する。注目すべきは、LinGCNはCryptoGCNと比較して14.2倍のレイテンシ向上を実現し、推論精度は75%、乗算深度は顕著に減少することである。
論文参考訳（メタデータ） (2023-09-25T17:56:54Z)
Switch and Conquer: Efficient Algorithms By Switching Stochastic Gradient Oracles For Decentralized Saddle Point Problems [1.2277343096128712]
そこで本研究では, 一次変数と双対変数の更新を可能にする非接触な原始的ハイブリッド勾配(非接触PDHG)法を開発した。 GSGとSVRGの最適収束位相を利用することで、C-DPSSGが低-ナトリウム精度の解を得るのに適していることを示す。
論文参考訳（メタデータ） (2023-09-02T17:48:42Z)
DiNADO: Norm-Disentangled Neurally-Decomposed Oracles for Controlling Language Models [55.06442277395388]
NeurAlly-Decomposed Oracle (NADO)は、大きな言語モデルで制御可能な生成のための強力なアプローチである。バニラNADOは低確率制御信号の減衰勾配に悩まされる。本稿では,NADOアルゴリズムの性能向上を図るために,NADOアルゴリズムの改良版であるDiNADOを提案する。
論文参考訳（メタデータ） (2023-06-20T18:36:52Z)
On the Global Convergence of Training Deep Linear ResNets [104.76256863926629]
我々は、$L$-hidden-layer linear residual network(ResNets)のトレーニングのための勾配降下(GD)と勾配降下(SGD)の収束について検討する。入力層と出力層で一定の線形変換を施したディープ残差ネットワークのトレーニングを行う場合,GDとSGDは共に,トレーニング損失の最小限に収束できることを示す。
論文参考訳（メタデータ） (2020-03-02T18:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。