論文の概要: Attention Editing: A Versatile Framework for Cross-Architecture Attention Conversion
- arxiv url: http://arxiv.org/abs/2604.05688v1
- Date: Tue, 07 Apr 2026 10:40:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.770451
- Title: Attention Editing: A Versatile Framework for Cross-Architecture Attention Conversion
- Title（参考訳）: Attention Editing: アーキテクチャ間のアテンション変換のためのVersatileフレームワーク
- Authors: Zhen Cheng, Hao-Bo Yang, Wan-Yi Huang, Jin-Long Li,
- Abstract要約: 我々は,すでにトレーニング済みの大規模言語モデルをスクラッチから再トレーニングすることなく,新たなアテンションアーキテクチャで変換するフレームワークであるAttention Editingを紹介する。
我々は、MLAとGateSWAの2つの異なるターゲット上でフレームワークをインスタンス化し、これをQwen3-8BとQwen3-30B-A3Bに適用する。
実験はAscend 910Bクラスタ上で行われ、家庭内ハードウェアに関する実践的なケーススタディを提供する。
- 参考スコア（独自算出の注目度）: 17.514757379631927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Key-Value (KV) cache memory and bandwidth increasingly dominate large language model inference cost in long-context and long-generation regimes. Architectures such as multi-head latent attention (MLA) and hybrid sliding-window attention (SWA) can alleviate this bound, but integrating them into existing models remains difficult. Prior methods impose fine-grained structural requirements on both source and target attention modules, which cannot meet the feasible requirement in practical deployment. We present Attention Editing, a practical framework for converting already-trained large language models (LLMs) with new attention architectures without re-pretraining from scratch. Attention editing replaces the original attention with a learnable target module and trains it using progressive distillation, consisting of (1) layer-wise teacher-forced optimization with intermediate activation supervision to prevent cold-start error accumulation, and (2) model-level distillation on next-token distributions, optionally regularized by weak feature matching. We instantiate the framework on two different target--MLA and GateSWA, a gated hybrid SWA design, and apply it to Qwen3-8B and Qwen3-30B-A3B. The resulting models maintain competitive performance while delivering substantial efficiency improvements, demonstrating that large-scale attention conversion is both feasible and robust. Notably, experiments are conducted on an Ascend 910B clusters, offering a practical training case study on domestic hardware.
- Abstract（参考訳）: キーバリュー(KV)キャッシュメモリと帯域幅は、長期のコンテキストと長期のシステムにおいて、大きな言語モデル推論コストを支配している。
MLA(Multi-head Latent attention)やSWA(Hybrid slide-window attention)のようなアーキテクチャは、この制約を緩和するが、既存のモデルに統合することは困難である。
従来の手法では、ソースモジュールとターゲットモジュールの両方にきめ細かい構造的要件を課しており、実際のデプロイにおいて実現可能な要件を満たすことはできない。
我々は、すでに訓練済みの大規模言語モデル(LLM)をスクラッチから再トレーニングすることなく、新しいアテンションアーキテクチャで変換するための実用的なフレームワークである注意編集を提案する。
注意編集は, 学習可能な目標モジュールに置き換え, (1) 冷間開始誤差の蓄積を防止するため, (1) 階層的な教師強制型最適化と中間活性化調整, (2) 弱い特徴マッチングによって任意に正規化される次トーケン分布のモデルレベルの蒸留からなるプログレッシブ蒸留を用いて, プログレッシブ蒸留を訓練する。
我々は、MLAとGateSWAの2つの異なるターゲット上でフレームワークをインスタンス化し、これをQwen3-8BとQwen3-30B-A3Bに適用する。
結果として得られたモデルは、相当な効率改善を提供しながら、競争性能を維持し、大規模な注意変換が実現可能かつ堅牢であることを実証する。
特に、Ascend 910Bクラスタ上で実験が行われ、家庭内ハードウェアに関する実践的なケーススタディを提供する。
関連論文リスト
- MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling [80.48332380100915]
MiniCPM-SALAは、疎注意の高忠実長文モデリングと線形注意のグローバル効率を統合するハイブリッドモデルである。
1つのNVIDIA A6000D GPUでは、256Kトークンのシーケンス長におけるフルアテンションモデルの推論速度が3.5倍に達する。
論文 参考訳（メタデータ） (2026-02-12T09:37:05Z) - Distill-then-Replace: Efficient Task-Specific Hybrid Attention Model Construction [3.9660062354591754]
トランスフォーマーアーキテクチャは、密度の高いフルアテンションによって最先端の精度を提供するが、その2次時間とメモリの複雑さは、実用的なデプロイメントを制限している。
線形アテンションメカニズムは、線形またはニア線形スケーリングを提供するが、しばしば性能劣化を引き起こす。
我々は,対象タスクの検証性能を監視しながら,すべての注意ブロックを線形に置き換える,欲求層置換戦略を導入する。
これにより、コストのかかる再トレーニングやニューラルアーキテクチャ検索を必要とせず、単一の効率的なパスでタスク固有のハイブリッドモデルが得られ、さまざまな下流タスクのために事前トレーニングされたフルアテンションバックボーンに適用できる。
論文 参考訳（メタデータ） (2026-01-16T02:01:40Z) - Architecture Decoupling Is Not All You Need For Unified Multimodal Model [64.19284951218098]
本稿では,トレーニング中のタスク-特定マルチモーダルインタラクションパターンを明示的に学習する,意図的インタラクションアライメント(AIA)の損失を提案する。
AIAは、横断的な注意パターンを洗練するだけでなく、生成と理解の両方のパフォーマンスも向上させる。
論文 参考訳（メタデータ） (2025-11-27T17:55:25Z) - BOFA: Bridge-Layer Orthogonal Low-Rank Fusion for CLIP-Based Class-Incremental Learning [84.56022893225422]
CIL(Class-Incremental Learning)は,従来の知識を忘れずに,新たなカテゴリを継続的に学習することを目的としている。
CLIP から CIL への視覚言語モデルの適用には,次の2つの大きな課題がある。(1) 下流タスクへの適応には,新たな学習可能なモジュールを必要とする場合が多いこと,2) モデル複雑性の増大と忘れやすいこと,2) マルチモーダル表現は相補的な長所を提供する一方で,既存の手法では,視覚的およびテキスト的モダリティを効果的に統合する可能性を完全には実現できていない。
論文 参考訳（メタデータ） (2025-11-14T15:51:40Z) - DeepThinkVLA: Enhancing Reasoning Capability of Vision-Language-Action Models [51.76664843721462]
DeepThinkVLAはVision-Language-Actionモデルのための新しいアーキテクチャである。
因果的注意を伴うシーケンシャルCoTを生成し、双方向の注意に切り替え、アクションベクトルを高速に復号する。
LIBEROベンチマークで97.0%の成功率を達成した。
論文 参考訳（メタデータ） (2025-10-31T05:26:16Z) - DART: Dual Adaptive Refinement Transfer for Open-Vocabulary Multi-Label Recognition [59.203152078315235]
Open-Vocabulary Multi-Label Recognition (OV-MLR)は、画像内の複数の見えないオブジェクトカテゴリを識別することを目的としている。
ビジョンランゲージ事前学習モデルは強力なオープン語彙基盤を提供するが、弱い監督下では微粒な局所化に苦慮する。
本稿では,これらの制約を克服するためのDART(Dual Adaptive Refinement Transfer)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-07T17:22:33Z) - Cross-Attention Speculative Decoding [20.999323581400336]
最先端の投機的復号法は自己アテンションに基づくトランスフォーマーデコーダに依存しており、しばしば補助的なプーリングや融合層で拡張される。
本稿では,有向型トランスフォーマーデコーダSDモデルであるBudget Eagleについて述べる。
また,ブロックレベルの注意シナリオにおいて,学習の安定性と収束効率を向上する新しい手法である2段階ブロック注意訓練を提案する。
論文 参考訳（メタデータ） (2025-05-30T12:52:35Z) - Hymba: A Hybrid-head Architecture for Small Language Models [65.94140459055244]
Hymbaは、ハイブリッドヘッド並列アーキテクチャを特徴とする、小さな言語モデルのファミリーである。
重要な情報を保持するプロンプトに先立って,学習可能なメタトークンを導入する。
このモデルは、層間鍵値共有と部分的スライディングウィンドウアテンションを組み込むことにより、さらに最適化される。
論文 参考訳（メタデータ） (2024-11-20T19:51:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。