論文の概要: Lizard: An Efficient Linearization Framework for Large Language Models

• arxiv url: http://arxiv.org/abs/2507.09025v1
• Date: Fri, 11 Jul 2025 21:19:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:22.157236
• Title: Lizard: An Efficient Linearization Framework for Large Language Models
• Title（参考訳）: Lizard: 大規模言語モデルのための効率的な線形化フレームワーク
• Authors: Chien Van Nguyen, Ruiyi Zhang, Hanieh Deilamsalehy, Puneet Mathur, Viet Dac Lai, Haoliang Wang, Jayakumar Subramanian, Ryan A. Rossi, Trung Bui, Nikos Vlassis, Franck Dernoncourt, Thien Huu Nguyen,
• Abstract要約: 我々は,事前学習したトランスフォーマーベース大規模言語モデル(LLM)を,無限コンテキスト生成のための柔軟性のあるサブクワッドアーキテクチャに変換する線形化フレームワークであるLizardを提案する。 Lizardは、出力品質を保ちながらソフトマックスアテンションを正確に近似するサブクワッドアテンションメカニズムを導入することで、この制限に対処する。 そこで本研究では,Lizardが従来の線形化手法を著しく上回りながら,標準言語モデリングタスクにおける教師モデルの性能のほぼ無作為な回復を実現していることを示す。
• 参考スコア（独自算出の注目度）: 100.63879229649581
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Lizard, a linearization framework that transforms pretrained Transformer-based Large Language Models (LLMs) into flexible, subquadratic architectures for infinite-context generation. Transformer-based LLMs face significant memory and computational bottlenecks as context lengths increase, due to the quadratic complexity of softmax attention and the growing key-value (KV) cache. Lizard addresses these limitations by introducing a subquadratic attention mechanism that closely approximates softmax attention while preserving the output quality. Unlike previous linearization methods, which are often limited by fixed model structures and therefore exclude gating mechanisms, Lizard incorporates a gating module inspired by recent state-of-the-art linear models. This enables adaptive memory control, supports constant-memory inference, offers strong length generalization, and allows more flexible model design. Lizard combines gated linear attention for global context compression with sliding window attention enhanced by meta memory, forming a hybrid mechanism that captures both long-range dependencies and fine-grained local interactions. Moreover, we introduce a hardware-aware algorithm that accelerates the training speed of our models. Extensive experiments show that Lizard achieves near-lossless recovery of the teacher model's performance across standard language modeling tasks, while significantly outperforming previous linearization methods. On the 5-shot MMLU benchmark, Lizard improves over prior models by 18 points and shows significant improvements on associative recall tasks.
• Abstract（参考訳）: 我々は,事前学習したトランスフォーマーベース大規模言語モデル(LLM)を,無限コンテキスト生成のための柔軟性のあるサブクワッドアーキテクチャに変換する線形化フレームワークであるLizardを提案する。 トランスフォーマーベースのLLMは、ソフトマックスアテンションの2次複雑さとキー値(KV)キャッシュの増大により、コンテキスト長の増加に伴い、メモリと計算のボトルネックに直面する。 Lizardは、出力品質を保ちながらソフトマックスアテンションを密に近似する準4次アテンション機構を導入することで、これらの制限に対処する。 固定されたモデル構造によって制限され、従ってゲーティング機構を除外する従来の線形化法とは異なり、リザードは最近の最先端の線形モデルにインスパイアされたゲーティングモジュールを組み込んでいる。 これにより、適応的なメモリ制御が可能となり、定数メモリ推論をサポートし、強力な長さの一般化を提供し、より柔軟なモデル設計が可能になる。 Lizardは、グローバルなコンテキスト圧縮のためのゲート付き線形アテンションとメタメモリによって強化されたスライディングウインドウアテンションを組み合わせることで、長距離依存関係ときめ細かいローカルインタラクションの両方をキャプチャするハイブリッドメカニズムを形成する。 さらに,モデルのトレーニング速度を高速化するハードウェア・アウェア・アルゴリズムを導入する。 大規模な実験により、Lizardは教師モデルの性能を標準言語モデリングタスクでほぼ無作為に回復し、従来の線形化手法よりも大幅に向上した。 5ショットのMMLUベンチマークでは、Lizardは以前のモデルよりも18ポイント改善され、連想的リコールタスクが大幅に改善された。

関連論文リスト

• MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
  我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。 テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-06-05T16:50:23Z)
• ReGLA: Refining Gated Linear Attention [42.97193398172823]
  線形注意は、標準変圧器に固有の2次時空の複雑さを減らすように設計されている。 我々は、以前の提案が見落としていたいくつかの重要な問題に対処する機能マッピング機能を開発した。 また, ゲーティング機構の飽和現象を探索し, 精製モジュールで補強した。
  論文  参考訳（メタデータ） (2025-02-03T18:03:13Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• TransNormerLLM: A Faster and Better Large Language Model with Improved TransNormer [34.790081960470964]
  最初の線形注意に基づくLarge Language Model(LLM)であるTransNormerLLMを提案する。 我々は, 位置埋め込み, 線形注意加速度, ゲーティング機構, テンソル正規化, 推論加速度, 安定化など, 高度な修正を行う。 自己収集コーパス上に385M, 1B, 7Bの大きさの列車モデルとアブリケーションを用いてモデル設計を検証する。
  論文  参考訳（メタデータ） (2023-07-27T16:45:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。