論文の概要: Enhancing Linear Attention with Residual Learning

• arxiv url: http://arxiv.org/abs/2509.25223v1
• Date: Wed, 24 Sep 2025 07:36:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.177678
• Title: Enhancing Linear Attention with Residual Learning
• Title（参考訳）: 残差学習によるリニアアテンションの強化
• Authors: Xunhao Lai, Jialiang Kang, Jianqiao Lu, Tong Lin, Pengyu Zhao,
• Abstract要約: 本稿では,線形注意に明示的な残差適合機構を付加するフレームワークであるResidual Linear Attention (RLA)を紹介する。 RLAは、残差を時間の経過とともに蓄積し、ベース予測を修正することを学ぶ補助的なリカレント状態を維持している。 さらにデルタルール版であるResidual Delta Net (RDN) のインスタンス化を行い、適応的ゲーティングと残留クリッピングを導入し、補正制御と安定性を向上させた。
• 参考スコア（独自算出の注目度）: 8.771004029038403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear attention offers a linear-time alternative to self-attention but often struggles to capture long-range patterns. We revisit linear attention through a prediction-correction lens and show that prevalent variants can be written as a combination of a historical prediction and a single-token correction, which creates an expressivity bottleneck. To address this bottleneck, we introduce Residual Linear Attention (RLA), a framework that equips linear attention with an explicit residual-fitting mechanism. RLA maintains an auxiliary recurrent state that learns to accumulate residual errors over time and correct the base prediction. We further instantiate a delta-rule version, Residual Delta Net (RDN), incorporating adaptive gating and residual clipping for enhanced correction control and stability. Our implementation leverages highly optimized linear attention kernels and preserves linear time and memory. Across language modeling and recall-intensive evaluations, RLA and RDN consistently outperform their respective baselines and other modern linear-attention methods, narrowing the gap to standard Transformers while retaining linear scaling.
• Abstract（参考訳）: 線形注意は自己注意に代わる線形時間を提供するが、しばしば長距離パターンを捉えるのに苦労する。 我々は、予測補正レンズを通して線形注意を再考し、有意な変種を歴史的予測と一点補正の組み合わせとして記述し、表現性ボトルネックを生じさせることを示す。 このボトルネックに対処するために、線形注意を明示的な残差適合機構に装備するフレームワークであるResidual Linear Attention (RLA)を導入する。 RLAは、残差を時間の経過とともに蓄積し、ベース予測を修正することを学ぶ補助的なリカレント状態を維持している。 さらにデルタルール版であるResidual Delta Net (RDN) のインスタンス化を行い、適応的ゲーティングと残留クリッピングを導入し、補正制御と安定性を向上させた。 我々の実装は高度に最適化された線形アテンションカーネルを活用し、線形時間とメモリを保存する。 RLAとRDNは言語モデリングとリコール集約評価全体にわたって、それぞれのベースラインやその他の現代的なリニアアテンション手法を一貫して上回り、リニアスケーリングを維持しながら標準トランスフォーマーとのギャップを狭めている。

関連論文リスト

• SLA2: Sparse-Linear Attention with Learnable Routing and QAT [86.22100800353991]
  SLA2は97%の注意空間を達成でき、世代品質を維持しつつ18.6倍の注意速度を達成できることを示す。 実験の結果、SLA2は97%の注意範囲を達成でき、世代品質を維持しながら18.6倍の注意速度を達成できることが示された。
  論文  参考訳（メタデータ） (2026-02-13T07:16:02Z)
• MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
  リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。 我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
  論文  参考訳（メタデータ） (2026-02-04T09:14:09Z)
• STILL: Selecting Tokens for Intra-Layer Hybrid Attention to Linearize LLMs [23.745366354566315]
  LLM(Linearizing Pretrained Large Language Model)は主に層内ハイブリッドアテンション機構に依存している。 LLMを効率的に線形化するための層内ハイブリッド線形化フレームワークSTILLを提案する。
  論文  参考訳（メタデータ） (2026-02-02T14:49:18Z)
• A universal linearized subspace refinement framework for neural networks [1.636137854123538]
  本稿では、LSR(Linearized Subspace Refinement)を導入し、LSR(Linearized Subspace Refinement)とLSR(Linearized Subspace Refinement)について述べる。 LSRは、標準学習された解よりも精度が大幅に向上した洗練された予測器を得る。 複合損失構造に関する問題に対しては、一発LSRと教師付き非線形アライメントを交互に行うIterative LSRを導入する。
  論文  参考訳（メタデータ） (2026-01-20T14:03:28Z)
• Error-Free Linear Attention is a Free Lunch: Exact Solution from Continuous-Time Dynamics [41.656176667732616]
  数値的に安定な完全並列性とデルタ則の一般化された定式化であるEFLA(Error-Free Linear Attention)を導入する。 我々の研究は、高忠実でスケーラブルな線形時間アテンションモデルを構築するための新しい理論基盤を提供する。
  論文  参考訳（メタデータ） (2025-12-14T08:51:02Z)
• Compensating Distribution Drifts in Class-incremental Learning of Pre-trained Vision Transformers [27.14203097630326]
  本稿では、遅延空間遷移演算子を導入し、ドリフト補償を用いた逐次学習を提案する。 SLDCは、ドリフトの影響を軽減するために、タスク間で機能の分散を調整することを目的としている。 標準CILベンチマークの実験では、SLDCはSeqFTの性能を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-11-13T03:40:54Z)
• Log-Linear Attention [81.09631871212211]
  本稿では,線形注意の効率とソフトマックス注意の表現性をバランスさせる注意機構である対数線形注意を開発する。 特定の成長関数を用いて、対数線形アテンションは、計算コストが列長で対数線形である類似のマトゥルリッチ並列形式を許容することを示す。 ログ線形アテンションは一般的なフレームワークであり、既存の線形アテンションのバリエーションの上に適用することができる。
  論文  参考訳（メタデータ） (2025-06-05T08:44:51Z)
• Breaking the Low-Rank Dilemma of Linear Attention [61.55583836370135]
  線形注意(linear attention)は、複雑性を線形レベルに還元することで、はるかに効率的なソリューションを提供する。 実験により, この性能低下は, 線形アテンションの特徴マップの低ランク性に起因することが示唆された。 我々は,線形複雑性と高効率を維持しつつ,Softmaxの注目性能に匹敵するランク拡張線形注意(RALA)を導入する。
  論文  参考訳（メタデータ） (2024-11-12T08:30:59Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• Causality-aware counterfactual confounding adjustment as an alternative to linear residualization in anticausal prediction tasks based on linear learners [14.554818659491644]
  反因果予測タスクにおける因果関係を考慮した共起調整に対する線形残差化手法の比較を行った。 線形学習者の予測性能において,因果認識アプローチは(漸近的に)残留化調整に優れる傾向があることを示す。
  論文  参考訳（メタデータ） (2020-11-09T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。