論文の概要: FG$^2$-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control

• arxiv url: http://arxiv.org/abs/2604.19021v1
• Date: Tue, 21 Apr 2026 03:15:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.590883
• Title: FG$^2$-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control
• Title（参考訳）: FG$^2$-GDN:Double Fine-Grained ControlによるLong-Context Gated Delta Networkの強化
• Authors: Pingwei Sun, Yuxuan Hu, Jianchao Tan, Xue Wang, Jiaqi Zhang, Yifan Lu, Yerui Sun, Yuchen Xie, Xunliang Cai,
• Abstract要約: 線形アテンション機構はソフトマックスアテンションに代わる有望な代替手段として出現している。 FG$2$-GDNを導入し、スカラー$_t$をチャネルワイドベクトルに置き換える。 実験により、FG$2$-GDNとその変種は連想的リコールと長文理解を改善した。
• 参考スコア（独自算出の注目度）: 31.409429284036776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear attention mechanisms have emerged as promising alternatives to softmax attention, offering linear-time complexity during inference. Recent advances such as Gated DeltaNet (GDN) and Kimi Delta Attention (KDA) have demonstrated that the delta rule, an online gradient descent update, enables superior associative recall compared to simple additive updates. While KDA refined the coarse head-wise decay gate into channel-wise decay, the learning rate $β_t$ in the delta update remains a scalar, limiting the model's capacity for dimension-specific adaptation. We introduce FG$^2$-GDN, which replaces the scalar $β_t$ with a channel-wise vector analogous to the transition from SGD to per-coordinate adaptive optimizers such as AdaGrad and Adam. We further propose FG$^2$-GDN+, which decouples the scaling for keys and values, enabling independent control of erasure strength and write strength. Experiments on synthetic and real-world benchmarks show that FG$^2$-GDN and its variant improve associative recall and long-context understanding over GDN and KDA, with comparable computational efficiency.
• Abstract（参考訳）: 線形アテンションメカニズムはソフトマックスアテンションに代わる有望な代替手段として現れ、推論中に線形時間複雑性を提供する。 Gated DeltaNet (GDN) や Kimi Delta Attention (KDA) といった最近の進歩は、オンラインの勾配降下更新であるデルタルールが、単純な付加的更新よりも優れた連想的リコールを可能にすることを示した。 KDAは粗いヘッドワイズ崩壊ゲートをチャネルワイズ崩壊に洗練させたが、デルタ更新における学習レート$β_t$はスカラーのままであり、モデルの寸法特化能力は制限された。 本稿では,FG$^2$-GDNを導入し,このスカラー$β_t$を,SGDからAdaGradやAdamなどの適応最適化器への遷移に類似したチャネルワイドベクトルに置き換える。 さらに、鍵と値のスケーリングを分離し、消去強度と書き込み強度の独立制御を可能にするFG$^2$-GDN+を提案する。 合成および実世界のベンチマーク実験により、FG$^2$-GDNとその変種は、GDNとKDAに対する連想的リコールと長いコンテキスト理解を改善し、計算効率に匹敵することを示した。

関連論文リスト

• DeltaSeg: Tiered Attention and Deep Delta Learning for Multi-Class Structural Defect Segmentation [1.2904450317782683]
  本稿では,Squeeze-and-Excitation(SE)チャネルアテンションをエンコーダに組み込んだU字型エンコーダデコーダアーキテクチャ,ボトルネックとデコーダのコーディネートアテンション,スキップ接続における新しいDeep Delta Attention(DDA)機構を提案する。 両方のベンチマークでDeltaSegは、U-Net、SA-UNet、UNet3+、SegFormer、Swin-UNet、EGE-UNet、FPN、Mobile-UNETRを含む12の競合アーキテクチャを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-04-20T18:49:16Z)
• DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products [60.72655477351486]
  リニアリカレントニューラルネットワーク(線形RNN)は、シーケンスモデリングのためのトランスフォーマーの競合代替手段として登場した。 既存のアーキテクチャは、表現性と効率の基本的なトレードオフに直面しており、状態遷移行列の構造によって規定されている。
  論文  参考訳（メタデータ） (2025-02-14T16:59:05Z)
• LinGCN: Structural Linearized Graph Convolutional Network for Homomorphically Encrypted Inference [19.5669231249754]
  本稿では,乗算深度を低減し,HEに基づくGCN推論の性能を最適化するLinGCNを提案する。 注目すべきは、LinGCNはCryptoGCNと比較して14.2倍のレイテンシ向上を実現し、推論精度は75%、乗算深度は顕著に減少することである。
  論文  参考訳（メタデータ） (2023-09-25T17:56:54Z)
• Switch and Conquer: Efficient Algorithms By Switching Stochastic Gradient Oracles For Decentralized Saddle Point Problems [1.2277343096128712]
  そこで本研究では, 一次変数と双対変数の更新を可能にする非接触な原始的ハイブリッド勾配(非接触PDHG)法を開発した。 GSGとSVRGの最適収束位相を利用することで、C-DPSSGが低-ナトリウム精度の解を得るのに適していることを示す。
  論文  参考訳（メタデータ） (2023-09-02T17:48:42Z)
• On the Global Convergence of Training Deep Linear ResNets [104.76256863926629]
  我々は、$L$-hidden-layer linear residual network(ResNets)のトレーニングのための勾配降下(GD)と勾配降下(SGD)の収束について検討する。 入力層と出力層で一定の線形変換を施したディープ残差ネットワークのトレーニングを行う場合,GDとSGDは共に,トレーニング損失の最小限に収束できることを示す。
  論文  参考訳（メタデータ） (2020-03-02T18:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。