論文の概要: SWAN-GPT: An Efficient and Scalable Approach for Long-Context Language Modeling

• arxiv url: http://arxiv.org/abs/2504.08719v1
• Date: Fri, 11 Apr 2025 17:33:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:19:11.377625
• Title: SWAN-GPT: An Efficient and Scalable Approach for Long-Context Language Modeling
• Title（参考訳）: SWAN-GPT:長期言語モデリングのための効率的かつスケーラブルなアプローチ
• Authors: Krishna C. Puvvada, Faisal Ladhak, Santiago Akle Serrano, Cheng-Ping Hsieh, Shantanu Acharya, Somshubra Majumdar, Fei Jia, Samuel Kriman, Simeng Sun, Dima Rekesh, Boris Ginsburg,
• Abstract要約: 本稿では,デコーダのみのトランスフォーマーアーキテクチャを提案する。 実験は、追加の長文トレーニングを必要とせずに、シーケンス長がトレーニング長よりもかなり長いことを示す。
• 参考スコア（独自算出の注目度）: 29.743622751552643
• License:
• Abstract: We present a decoder-only Transformer architecture that robustly generalizes to sequence lengths substantially longer than those seen during training. Our model, SWAN-GPT, interleaves layers without positional encodings (NoPE) and sliding-window attention layers equipped with rotary positional encodings (SWA-RoPE). Experiments demonstrate strong performance on sequence lengths significantly longer than the training length without the need for additional long-context training. This robust length extrapolation is achieved through our novel architecture, enhanced by a straightforward dynamic scaling of attention scores during inference. In addition, SWAN-GPT is more computationally efficient than standard GPT architectures, resulting in cheaper training and higher throughput. Further, we demonstrate that existing pre-trained decoder-only models can be efficiently converted to the SWAN architecture with minimal continued training, enabling longer contexts. Overall, our work presents an effective approach for scaling language models to longer contexts in a robust and efficient manner.
• Abstract（参考訳）: 本稿では,デコーダのみのトランスフォーマーアーキテクチャを提案する。 我々のモデルであるSWAN-GPTは、回転位置符号化(SWA-RoPE)を備えた位置符号化(NoPE)とスライドウインドウ注意層(SWA-RoPE)のない層をインターリーブする。 実験は、追加の長文トレーニングを必要とせずに、シーケンス長がトレーニング長よりもかなり長いことを示す。 この頑丈な長さ外挿は、我々の新しいアーキテクチャによって達成され、推論中の注意点の簡単な動的スケーリングによって強化される。 さらに、SWAN-GPTは標準のGPTアーキテクチャよりも計算効率が良く、訓練が安く、スループットも高い。 さらに、既存のトレーニング済みデコーダのみのモデルを、最小限の継続トレーニングでSWANアーキテクチャに効率的に変換できることを示し、より長いコンテキストを実現する。 全体として、我々の研究は言語モデルをより長いコンテキストに、堅牢で効率的な方法でスケールするための効果的なアプローチを示します。

関連論文リスト

• E2LLM: Encoder Elongated Large Language Models for Long-Context Understanding and Reasoning [20.660297311025417]
  E2LLM (Encodergated Large Language Models) は「不可能な三角形」を効果的にナビゲートする新しい手法である。 この手法では、長いコンテキストをチャンクに分割し、事前訓練されたテキストエンコーダを介してベクターに圧縮し、アダプタを使用してこれらの表現をデコーダのみのLLMで整列させる。 実験により、E2LLMは、事前訓練されたモデルとの効率、性能、互換性のバランスを保ちながら、長期コンテキストシナリオにおいて優れた性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-09-10T17:44:35Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• Bidirectional Long-Range Parser for Sequential Data Understanding [3.76054468268713]
  BLRP(Bidirectional Long-Range)は,長距離タスクの性能向上と効率向上を目的とした,新規で汎用的なアテンション機構である。 我々は、最先端の手法に対する競争結果を示すことによって、ビジョンと言語ドメインに対するアプローチの利点と汎用性を示す。
  論文  参考訳（メタデータ） (2024-04-08T05:45:03Z)
• CLEX: Continuous Length Extrapolation for Large Language Models [68.43814043853347]
  大規模言語モデル(LLM)のためのCLEX(Continuous Longth Extrapolation)を提案する。 CLEXはコンテキストウィンドウを4倍または8倍のトレーニング長に拡張するが、性能は劣化しない。 我々のモデルは4k長でトレーニングされ、最先端のオープンソースモデルに対して最大32k長でトレーニングされた。
  論文  参考訳（メタデータ） (2023-10-25T08:13:02Z)
• Functional Interpolation for Relative Positions Improves Long Context Transformers [86.12843093589]
  本稿では,より長いコンテキストに変換器の一般化を改善するために,プログレッシブなFIREを用いた関数的相対的位置符号化を提案する。 理論的には、これはT5のRPE、Alibi、Kerpleなどの一般的な相対的な位置エンコーディングのいくつかを表現できる。 FIREモデルは、ゼロショット言語モデリングと長文ベンチマークの両方において、より長い文脈での一般化がより優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-06T17:59:11Z)
• Efficient Long Sequence Modeling via State Space Augmented Transformer [92.74707853711374]
  我々はSPADE($underlinetextbfS$tate sunderlinetextbfP$ace)を提案する。 我々は,SPADEの底層にSSMを付加し,他の層に対して効率的な局所的注意法を適用した。 Long Range Arenaベンチマークと言語モデリングタスクの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-15T20:51:27Z)
• LSG Attention: Extrapolation of pretrained Transformers to long sequences [0.0]
  ローカル・スパース・グローバル・アテンションに依存したLSGアーキテクチャを導入する。 長文の分類と要約作業においてLSGの注意は高速で効率的で競争力があることを示す。 我々は新しいモデルをトレーニングし、このメカニズムに基づいて既存のモデルを適応するためのツールを提案する。
  論文  参考訳（メタデータ） (2022-10-13T13:10:41Z)
• GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures [57.46093180685175]
  トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。 自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。 得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-10T15:41:53Z)
• Top-KAST: Top-K Always Sparse Training [50.05611544535801]
  トレーニングを通して一定間隔を保存するTop-KASTを提案する。 確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
  論文  参考訳（メタデータ） (2021-06-07T11:13:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。