論文の概要: SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization

• arxiv url: http://arxiv.org/abs/2609.14320v1
• Date: Sun, 13 Sep 2026 06:30:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.792498
• Title: SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization
• Title（参考訳）: SpectralShift: スペクトル再パラメータ化によるGated DeltaNetの効果的なコンテキストウィンドウ拡張
• Abstract要約: 遷移行列のスペクトルの観点からGated DeltaNet(GDN)の長文拡張について検討した。 本稿では,GDNの長期連続事前学習のためのスペクトル再パラメータ化手法であるSpectralShiftを提案する。 実験によると、SpectralShiftはトレーニングよりも長いコンテキスト機能を継続的に改善している。
• 参考スコア（独自算出の注目度）: 47.04140386983309
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, linear attention layers have been increasingly adopted to replace softmax attention at scale for long-context modeling. However, existing context extension approaches typically apply continued pretraining directly without modifying these layers, overlooking the spectral properties of linear attention state dynamics. In this work, we study long-context extension of Gated DeltaNet (GDN) from a spectral perspective of transition matrix and identify two essential factors governing long-range information retrieval: (1) a sufficiently broad slow spectral band aligned with the target dependency length, and (2) the preservation of fast-decaying modes for state clearing and context switching. Based on this observation, we propose SpectralShift, a spectral reparameterization approach for long-context continual pretraining of GDNs. Specifically, SpectralShift reparameterizes the alpha projections initialization to reshape the decay spectrum by enhancing slow propagation capacity, and further introduces a learning-rate scaling for alpha projections to facilitate long-context training. Experiments show that SpectralShift consistently improves long-context capabilities over training, providing an effective and efficient solution for extending context windows of linear attention models. The code has been open-sourced at https://github.com/RUCAIBox/GDN-SpectralShift.
• Abstract（参考訳）: 近年,長期コンテキストモデリングにおいて,ソフトマックスを大規模に置き換えるために線形アテンション層が採用されてきている。 しかし、既存の文脈拡張アプローチは、一般にこれらの層を変更することなく、線形注意状態ダイナミクスのスペクトル特性を見渡すことなく、直接事前訓練を適用する。 本研究では,Gated DeltaNet(GDN)の長文拡張を遷移行列のスペクトルの観点から検討し,長距離情報検索を規定する2つの重要な要因を同定する。 そこで本研究では,GDNの長期連続事前学習のためのスペクトル再パラメータ化手法であるSpectralShiftを提案する。 具体的には、スペクトルシフトがアルファプロジェクションの初期化を再パラメータ化して、緩やかな伝播能力を向上させることで減衰スペクトルを再構成し、さらにアルファプロジェクションの学習速度スケーリングを導入して、長いコンテキストのトレーニングを容易にする。 実験により、SpectralShiftはトレーニングよりも長いコンテキスト機能を継続的に改善し、線形アテンションモデルのコンテキストウィンドウを拡張するための効率的かつ効率的なソリューションを提供することが示された。 コードはhttps://github.com/RUCAIBox/GDN-SpectralShiftでオープンソース化された。

関連論文リスト

• LESSViT: Robust Hyperspectral Representation Learning under Spectral Configuration Shift [29.791943499456426]
  低ランク空間スペクトル ViT (LESSViT) は、クロススペクトル一般化のためのセンサフレキシブルアーキテクチャである。 空間スペクトルマスキングと階層チャネルサンプリングを分離したハイパースペクトルマスク付きオートエンコーダ(HyperMAE)を導入する。
  論文  参考訳（メタデータ） (2026-05-18T15:22:26Z)
• Enhancing LLM Training via Spectral Clipping [28.270053200038586]
  SPECTRAは、スペクトル-ノルム制約を強制する更新のスペクトル後クリッピングのためのフレームワークである。 我々は、SPECTRAがAdamW、Signum、AdEMAMixなどの様々なバリデーションの損失を均一に改善することを示す。
  論文  参考訳（メタデータ） (2026-03-15T10:16:40Z)
• Spectral Gating Networks [65.9496901693099]
  我々は、フィードフォワードネットワークに周波数リッチな表現性を導入するために、スペクトルゲーティングネットワーク(SGN)を導入する。 SGNは、標準活性化経路をコンパクトなスペクトル経路と学習可能なゲートで拡張し、安定したベース動作からモデルを開始することができる。 計算予算に匹敵する精度と効率のトレードオフを継続的に改善する。
  論文  参考訳（メタデータ） (2026-02-07T20:00:49Z)
• WaveSeg: Enhancing Segmentation Precision via High-Frequency Prior and Mamba-Driven Spectrum Decomposition [61.3530659856013]
  本稿では,空間およびウェーブレット領域の機能改善を共同で最適化する新しいデコーダアーキテクチャであるWaveSegを提案する。 高周波成分は、まず入力画像から、境界の詳細を強化するために明示的な先行として学習される。 標準ベンチマークの実験では、Mambaベースの注目に先立ってウェーブレット-ドメイン周波数を利用するWaveSegが、常に最先端のアプローチより優れていることが示されている。
  論文  参考訳（メタデータ） (2025-10-24T01:41:31Z)
• SpectralX: Parameter-efficient Domain Generalization for Spectral Remote Sensing Foundation Models [27.717648142854696]
  SpectralXは、既存のRSFMをバックボーンとして適応する革新的なパラメータ効率の微調整フレームワークである。 AoMoA (Attribute-oriented Mixture of Adapter) を開発した。 低レベルのセマンティックな特徴を高レベルの表現で反復的にクエリすることで、モデルはタスク便益属性にフォーカスすることを学ぶ。
  論文  参考訳（メタデータ） (2025-08-03T12:14:38Z)
• SpectralAR: Spectral Autoregressive Visual Generation [74.48368364895387]
  本稿では、スペクトルの観点から視覚系列の因果性を実現するためのスペクトル自己回帰視覚生成フレームワークを提案する。 我々のSpectralARは、画像のさまざまな詳細レベルを考慮し、配列因果性とトークン効率の両方をベルとホイッスルなしで達成します。
  論文  参考訳（メタデータ） (2025-06-12T17:57:44Z)
• Holistic Physics Solver: Learning PDEs in a Unified Spectral-Physical Space [54.13671100638092]
  Holistic Physics Mixer (HPM) は、スペクトルと物理情報を統一された空間に統合するためのフレームワークである。 我々はHPMが精度と計算効率の両面で最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-15T08:19:39Z)
• SpectralMamba: Efficient Mamba for Hyperspectral Image Classification [39.18999103115206]
  リカレントニューラルネットワークとトランスフォーマーは、ハイパースペクトル(HS)イメージングにおけるほとんどの応用を支配している。 我々は、HS画像分類のための効率的なディープラーニングフレームワークを組み込んだ新しい状態空間モデルであるSpectralMambaを提案する。 SpectralMambaは、パフォーマンスと効率の両面から、驚くほど有望な勝利を生み出している。
  論文  参考訳（メタデータ） (2024-04-12T14:12:03Z)
• Adapting to Length Shift: FlexiLength Network for Trajectory Prediction [53.637837706712794]
  軌道予測は、自律運転、ロボット工学、シーン理解など、様々な応用において重要な役割を果たしている。 既存のアプローチは主に、一般に標準入力時間を用いて、公開データセットの予測精度を高めるために、コンパクトなニューラルネットワークの開発に重点を置いている。 本稿では,様々な観測期間に対する既存の軌道予測の堅牢性を高めるための,汎用的で効果的なフレームワークFlexiLength Network(FLN)を紹介する。
  論文  参考訳（メタデータ） (2024-03-31T17:18:57Z)
• MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction [148.26195175240923]
  効率的なスペクトル再構成のためのマルチステージスペクトル変換器(MST++)を提案する。 NTIRE 2022 Spectral Reconstruction Challengeでは、私たちのアプローチが優勝しました。
  論文  参考訳（メタデータ） (2022-04-17T02:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。