論文の概要: Morphing into Hybrid Attention Models

• arxiv url: http://arxiv.org/abs/2606.30562v1
• Date: Mon, 29 Jun 2026 17:02:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.343751
• Title: Morphing into Hybrid Attention Models
• Title（参考訳）: ハイブリッド注意モデルへのモーフィング
• Abstract要約: ハイブリッドアテンションモデルは、フルアテンション層のサブセットのみを保持し、残りのレイヤを線形アテンションに置き換えることで、長期コンテキスト効率を向上させる。 既存のハイブリッド層選択法は一般に固定配置パターンや層単位でのスコアリングに依存しており、グローバルなハイブリッド構成の下では、層の重要性を分離され、相互依存層効果を見越すものとして暗黙的に扱う。 本稿では,トランスフォーマー-ハイブリッド変換のための効率的な,効率的な,スケーラブルな層選択手法であるFlashMorphを提案する。
• 参考スコア（独自算出の注目度）: 52.02140767770562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hybrid attention models improve long-context efficiency by retaining only a subset of full-attention layers and replacing the remaining layers with linear attention. However, the effectiveness of Transformer-to-hybrid conversion critically depends on which layers preserve full attention. Existing hybrid layer selection methods typically rely on heuristic strategies such as fixed placement patterns or layerwise scoring, implicitly treating layer importance as isolated and overlooking the interdependent layer effect under a global hybrid configuration. In this work, we formulate hybrid layer selection as a budget-constrained subset optimization problem. We further propose FlashMorph (Fast LAyer Selection for Hybrid MORPHing), an effective, efficient and scalable layer selection method for Transformer-to-hybrid conversion. FlashMorph first constructs a morphable model by equipping each full-attention layer with a converted linear-attention branch. It then freezes all model weights and jointly optimizes layerwise gates on synthetic long-context retrieval data, with a linearization regularization that encourages the model to rely on linear attention for efficiency. The learned gates are discretized under a preset full-attention budget to instantiate the hybrid architecture, followed by standard logits distillation and long-context finetuning. Extensive experiments show that FlashMorph discovers more effective hybrid configurations, preserves strong long-context recall and general benchmark performance while substantially reducing layer selection cost compared with existing layer selection methods, demonstrating its effectiveness, efficiency, and scalability.
• Abstract（参考訳）: ハイブリッドアテンションモデルは、フルアテンション層のサブセットのみを保持し、残りのレイヤを線形アテンションに置き換えることで、長期コンテキスト効率を向上させる。 しかし,Transformer-to-hybrid変換の有効性は,どの層が注目に値するかに大きく依存する。 既存のハイブリッド層選択手法は、固定配置パターンや層単位でのスコアリングのようなヒューリスティックな戦略に依存しており、層の重要性を分離されたものとして暗黙的に扱い、グローバルなハイブリッド構成の下で相互依存層効果を見落としている。 本研究では,予算制約付きサブセット最適化問題としてハイブリッド層選択を定式化する。 さらに,トランスフォーマ-ハイブリド変換のための効率的な,効率的な,スケーラブルな層選択法であるFlashMorph (Fast Layer Selection for Hybrid MORPHing)を提案する。 FlashMorphはまず、各フルアテンション層に変換されたリニアアテンションブランチを装備することで、変形可能なモデルを構築する。 その後、すべてのモデルウェイトを凍結し、合成長文検索データに階層的なゲートを共同最適化する。 学習されたゲートは、予め設定されたフルアテンション予算の下で識別され、ハイブリッドアーキテクチャをインスタンス化し、続いて標準ロジット蒸留と長文微調整が続く。 大規模な実験により、FlashMorphはより効果的なハイブリッド構成を発見し、強い長期コンテキストリコールと一般的なベンチマーク性能を保持しながら、既存のレイヤ選択方法と比較して、レイヤー選択コストを大幅に削減し、その有効性、効率、スケーラビリティを実証している。

関連論文リスト

• HyCO: A Hybrid Neural Solver for Combinatorial Optimization [19.59560767239393]
  本稿では、RLソルバで解プレフィックスを構築し、条件付きDMスイッチに適応して残りの決定を完了させるハイブリッド推論アルゴリズムを提案する。 多様なベンチマークの実験結果は、HyCOが両方のバックボーンに対して一貫した改善を達成していることを示している。
  論文  参考訳（メタデータ） (2026-09-07T21:11:09Z)
• GLIDE: Guided Layerwise Hybrid Attention for Efficient LLM Inference [6.410595937323586]
  本稿では,リニアリカレントアグリゲーションとスライディングウインドウのソフトマックスアテンションを統合した案内層ハイブリッドアテンションであるGLIDEを提案する。 均一なハイブリッドアプローチとは異なり、GLIDEはモデル全体のソフトマックスフットプリントを不均一に圧縮し、KVキャッシュI/Oの集約を減らし、最も重要な表現力を保持する。 実験的な評価では、GLIDEは優れたパフォーマンス効率のトレードオフを実現し、品質を損なうことなく、長文生成におけるエンドツーエンドのレイテンシを低減する。
  論文  参考訳（メタデータ） (2026-06-26T17:48:13Z)
• LayerBoost: Layer-Aware Attention Reduction for Efficient LLMs [3.80555579179805]
  LayerBoostは推論遅延を低減し、スループットを最大68%向上する。 いくつかのベンチマークでベースモデルのパフォーマンスと一致し、他のベンチマークでは小さな劣化しか示さず、最先端の注目線形化手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2026-04-23T20:12:19Z)
• Olmo Hybrid: From Theory to Practice and Back [112.70006263561073]
  ハイブリッドモデルは, 変圧器と線形RNNの表現性を継承するだけでなく, 両方以上のタスクを表現できることを示す。 また,Olmo HybridはOlmo 3よりも高い性能を示し,プレトレーニングおよび中間トレーニングの評価を行った。 この結果から,注目層と繰り返し層を混合したハイブリッドモデルが,言語モデリングパラダイムの強力な拡張となることが示唆された。
  論文  参考訳（メタデータ） (2026-04-03T20:36:34Z)
• MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling [80.48332380100915]
  MiniCPM-SALAは、疎注意の高忠実長文モデリングと線形注意のグローバル効率を統合するハイブリッドモデルである。 1つのNVIDIA A6000D GPUでは、256Kトークンのシーケンス長におけるフルアテンションモデルの推論速度が3.5倍に達する。
  論文  参考訳（メタデータ） (2026-02-12T09:37:05Z)
• Distill-then-Replace: Efficient Task-Specific Hybrid Attention Model Construction [3.9660062354591754]
  トランスフォーマーアーキテクチャは、密度の高いフルアテンションによって最先端の精度を提供するが、その2次時間とメモリの複雑さは、実用的なデプロイメントを制限している。 線形アテンションメカニズムは、線形またはニア線形スケーリングを提供するが、しばしば性能劣化を引き起こす。 我々は,対象タスクの検証性能を監視しながら,すべての注意ブロックを線形に置き換える,欲求層置換戦略を導入する。 これにより、コストのかかる再トレーニングやニューラルアーキテクチャ検索を必要とせず、単一の効率的なパスでタスク固有のハイブリッドモデルが得られ、さまざまな下流タスクのために事前トレーニングされたフルアテンションバックボーンに適用できる。
  論文  参考訳（メタデータ） (2026-01-16T02:01:40Z)
• Distilling to Hybrid Attention Models via KL-Guided Layer Selection [66.06591032073744]
  本稿では,テキストデータに対する少量のトレーニングから得られた重要度スコアを用いた,簡易かつ効率的な層選択法について述べる。 この手法は, 固定比に基づいて線形注意を均一に解き出す手法を含む, 従来の層選択手法よりも有効であることがわかった。
  論文  参考訳（メタデータ） (2025-12-23T18:12:22Z)
• Understanding and Enhancing Mamba-Transformer Hybrids for Memory Recall and Language Modeling [59.84975924845338]
  我々は、メモリ利用と全体的な性能のレンズを通してハイブリッドアーキテクチャを解析する。 逐次ハイブリッドはより短いコンテキストでより良く機能する一方、並列ハイブリッドはより長いコンテキストでより効果的である。 パラフレーズを付加したデータセットを継続的にトレーニングするデータ中心のアプローチを導入し、他の機能を保ちながらリコールをさらに強化する。
  論文  参考訳（メタデータ） (2025-10-30T18:19:52Z)
• Native Hybrid Attention for Efficient Sequence Modeling [12.306252523159197]
  ネイティブハイブリッドアテンション(NHA)は、線形およびフルアテンションの新たなハイブリッドアーキテクチャである。 単一のtextttsoftmaxアテンション操作は、すべてのキーと値に適用される。 実験結果から,NHAはリコール集約・コモンセンス推論タスクにおいてトランスフォーマーを上回ることがわかった。
  論文  参考訳（メタデータ） (2025-10-08T13:44:57Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。