論文の概要: Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position

• arxiv url: http://arxiv.org/abs/2610.10114v1
• Date: Wed, 07 Oct 2026 14:02:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.949897
• Title: Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
• Title（参考訳）: 長期ハイブリッドモデルの力学 その1:ハイブリッドアテンションからハイブリッドポジションへ
• Abstract要約: ハイブリッドモデルでは,異なるアテンションモジュールが組み合わさり,長文の効率と性能が向上することを示す。 SWAハイブリッドは,短期学習トラップ,短期ウィンドウ・ウェアラブル,長期ウィンドウ・ラジネスに悩まされている。 LAハイブリッドでは、ハイブリッド位置補間によるマシュー効果を要約し、スライディング・ウィンドウ線形注意を提案する。
• 参考スコア（独自算出の注目度）: 53.391414373485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The architectural design of Large Language Models (LLMs) is shifting from traditional full-attention-only models to hybrid models, which combine different attention modules to improve long-context efficiency and performance in length extrapolation and context extension. To explain why hybrid models work and how to design them better, we propose Mechanics of Long-Context Hybrid Models. As Part 1.1 of this series, we begin with hybrids of full attention and either sliding-window attention (SWA) or gated variants of linear attention (LA), represented by GLA and GDN. We first observe a Seesaw Effect in Context Extension: LA hybrids benefit more from long-context continual pretraining, whereas SWA hybrids perform better under length extrapolation. We attribute this behavior to differences in the positional inductive biases induced by these attention mechanisms. We find that SWA hybrids suffer from a Short-Context Learning Trap, Short-Window Weariness, and Long-Window Laziness, and require extended windows to enhance performance in continual long-context pretraining. For LA hybrids, we summarize the Matthew Effect of Hybrid Position Extrapolation and propose Sliding-Window Linear Attention, achieving 16$\times$ training-free length extrapolation while maintaining 100\% accuracy on NIAH-SK1 in 64k context length.
• Abstract（参考訳）: LLM(Large Language Models)のアーキテクチャ設計は、従来のフルアテンションのみのモデルからハイブリッドモデルに移行している。 ハイブリッドモデルがなぜ機能するのか、どのように設計するかを説明するために、Long-Context Hybrid Modelsの力学を提案する。 本シリーズのパート1では,GLAとGDNに代表されるスライディング・ウインドウ・アテンション(SWA)のハイブリッドと,線形アテンション(LA)のゲート変種から始める。 LAハイブリッドは長文継続事前学習の恩恵を受ける一方、SWAハイブリッドは長文外挿においてより優れた性能を発揮する。 この挙動は,これらの注意機構によって引き起こされる位置誘導バイアスの差に起因すると考えられる。 SWAハイブリッドは短絡学習トラップ,短ウィンドウ・ウェアラブル,長ウィンドウ・ラジネスに悩まされており,連続した長コンテキスト事前学習における性能向上のために拡張ウィンドウが必要である。 LAハイブリッドでは、ハイブリッド位置補間によるマシュー効果を要約し、64kコンテキスト長でNIAH-SK1の100倍の精度を維持しつつ、16$\times$トレーニング不要長補間を実現するスライディング・ウィンドウ線形注意法を提案する。

関連論文リスト

• Rethinking the Role of Efficient Attention in Hybrid Architectures [40.06011907592891]
  提案手法は, 意図的・意図的・意図的・意図的・意図的・意図的・意図的・意図的・意図的・意図的・意図的・意図的・意図的・意図的)な設計が, 長大なコンテキスト能力の出現にいかに影響するかを示す。 より大きなSWAウィンドウは、フルアテンション層における検索ヘッドの形成を遅らせることができる。 小型SWAハイブリッドのフルアテンション層のみにNoPEを適用することで、長時間のコンテキスト性能が大幅に向上する。
  論文  参考訳（メタデータ） (2026-06-13T16:21:37Z)
• Olmo Hybrid: From Theory to Practice and Back [112.70006263561073]
  ハイブリッドモデルは, 変圧器と線形RNNの表現性を継承するだけでなく, 両方以上のタスクを表現できることを示す。 また,Olmo HybridはOlmo 3よりも高い性能を示し,プレトレーニングおよび中間トレーニングの評価を行った。 この結果から,注目層と繰り返し層を混合したハイブリッドモデルが,言語モデリングパラダイムの強力な拡張となることが示唆された。
  論文  参考訳（メタデータ） (2026-04-03T20:36:34Z)
• MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling [80.48332380100915]
  MiniCPM-SALAは、疎注意の高忠実長文モデリングと線形注意のグローバル効率を統合するハイブリッドモデルである。 1つのNVIDIA A6000D GPUでは、256Kトークンのシーケンス長におけるフルアテンションモデルの推論速度が3.5倍に達する。
  論文  参考訳（メタデータ） (2026-02-12T09:37:05Z)
• Understanding and Enhancing Mamba-Transformer Hybrids for Memory Recall and Language Modeling [59.84975924845338]
  我々は、メモリ利用と全体的な性能のレンズを通してハイブリッドアーキテクチャを解析する。 逐次ハイブリッドはより短いコンテキストでより良く機能する一方、並列ハイブリッドはより長いコンテキストでより効果的である。 パラフレーズを付加したデータセットを継続的にトレーニングするデータ中心のアプローチを導入し、他の機能を保ちながらリコールをさらに強化する。
  論文  参考訳（メタデータ） (2025-10-30T18:19:52Z)
• Native Hybrid Attention for Efficient Sequence Modeling [12.306252523159197]
  ネイティブハイブリッドアテンション(NHA)は、線形およびフルアテンションの新たなハイブリッドアーキテクチャである。 単一のtextttsoftmaxアテンション操作は、すべてのキーと値に適用される。 実験結果から,NHAはリコール集約・コモンセンス推論タスクにおいてトランスフォーマーを上回ることがわかった。
  論文  参考訳（メタデータ） (2025-10-08T13:44:57Z)
• Hymba: A Hybrid-head Architecture for Small Language Models [65.94140459055244]
  Hymbaは、ハイブリッドヘッド並列アーキテクチャを特徴とする、小さな言語モデルのファミリーである。 重要な情報を保持するプロンプトに先立って,学習可能なメタトークンを導入する。 このモデルは、層間鍵値共有と部分的スライディングウィンドウアテンションを組み込むことにより、さらに最適化される。
  論文  参考訳（メタデータ） (2024-11-20T19:51:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。