論文の概要: Adjoint sharding for very long context training of state space models

• arxiv url: http://arxiv.org/abs/2501.00692v1
• Date: Wed, 01 Jan 2025 01:10:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:17:35.539647
• Title: Adjoint sharding for very long context training of state space models
• Title（参考訳）: 状態空間モデルの非常に長い文脈学習のための随伴シャーディング
• Authors: Xingzi Xu, Amir Tavanaei, Kavosh Asadi, Karim Bouyarmane,
• Abstract要約: 随伴シャーディング(英: Adjoint sharding)は、訓練中のメモリ要求を桁違いに削減するシャーディング勾配計算を含む技法である。 提案手法は,1Mコンテキスト長トレーニングにおける1.27Bパラメータの大言語モデルを用いて,メモリ使用量を最大3倍に削減する。 これにより、トレーニング中の最大コンテキスト長を35Kトークンから5つのAWS P4インスタンスで構成されるトレーニングインフラストラクチャ上で100Kトークンに微調整することが可能になる。
• 参考スコア（独自算出の注目度）: 7.723642550918118
• License:
• Abstract: Despite very fast progress, efficiently training large language models (LLMs) in very long contexts remains challenging. Existing methods fall back to training LLMs with short contexts (a maximum of a few thousands tokens in training) and use inference time techniques when evaluating on long contexts (above 1M tokens context window at inference). As opposed to long-context-inference, training on very long context input prompts is quickly limited by GPU memory availability and by the prohibitively long training times it requires on state-of-the-art hardware. Meanwhile, many real-life applications require not only inference but also training/fine-tuning with long context on specific tasks. Such applications include, for example, augmenting the context with various sources of raw reference information for fact extraction, fact summarization, or fact reconciliation tasks. We propose adjoint sharding, a novel technique that comprises sharding gradient calculation during training to reduce memory requirements by orders of magnitude, making training on very long context computationally tractable. Adjoint sharding is based on the adjoint method and computes equivalent gradients to backpropagation. We also propose truncated adjoint sharding to speed up the algorithm while maintaining performance. We provide a distributed version, and a paralleled version of adjoint sharding to further speed up training. Empirical results show the proposed adjoint sharding algorithm reduces memory usage by up to 3X with a 1.27B parameter large language model on 1M context length training. This allows to increase the maximum context length during training or fine-tuning of a 1.27B parameter model from 35K tokens to above 100K tokens on a training infrastructure composed of five AWS P4 instances.
• Abstract（参考訳）: 非常に速い進歩にもかかわらず、非常に長い文脈で大きな言語モデル(LLM)を効率的に訓練することは依然として困難である。 既存のメソッドは、短いコンテキスト(トレーニング中の最大数千のトークン)でLLMをトレーニングし、長いコンテキスト(推論時に100Mトークンのコンテキストウィンドウ)で評価する際に推論時間テクニックを使用する。 長いコンテキスト推論とは対照的に、非常に長いコンテキスト入力プロンプトのトレーニングは、GPUメモリの可用性と、最先端ハードウェアに必要な極めて長いトレーニング時間によって、すぐに制限される。 一方、現実のアプリケーションの多くは推論だけでなく、特定のタスクに関する長いコンテキストでトレーニングや微調整も必要です。 そのようなアプリケーションには、例えば、事実抽出、事実要約、事実和解タスクのための様々な生の参照情報ソースでコンテキストを増強することが含まれる。 本稿では,学習中のメモリ要求を桁違いに減らし,非常に長いコンテキストでの学習を可能とするために,学習中の勾配計算を組み込んだ新しい手法であるadjoint shardingを提案する。 随伴シャーディングは随伴法に基づいて、バックプロパゲーションに等価な勾配を計算する。 また,性能を保ちながらアルゴリズムの高速化を図るために,切り離された随伴シャーディングを提案する。 トレーニングをさらに高速化するために、分散バージョンと並列バージョンの随伴シャーディングを提供する。 実験結果から,提案アルゴリズムは1Mコンテキスト長トレーニングにおける1.27Bパラメータの大言語モデルを用いて,メモリ使用量を最大3倍に削減する。 これにより、トレーニング中の最大コンテキスト長を35Kトークンから5つのAWS P4インスタンスで構成されるトレーニングインフラストラクチャ上で100Kトークンに微調整することが可能になる。

関連論文リスト

• How to Train Long-Context Language Models (Effectively) [75.5418485597276]
  言語モデル(LM)の継続学習と教師付き微調整(SFT)を行い,長文情報の有効利用について検討した。 ProLong-8BはLlama-3のもので、40Bトークンで訓練されている。
  論文  参考訳（メタデータ） (2024-10-03T16:46:52Z)
• A Little Goes a Long Way: Efficient Long Context Training and Inference with Partial Contexts [38.867323730365406]
  LongGenは、事前訓練されたLLMを、長さ拡張中に効率的なアーキテクチャに微調整する。 LongGenはトレーニングのスピードアップを1.55倍にし、フルアテンションベースラインに比べてウォールタイム時間を36%短縮する。 推論中、LongGenはKVキャッシュメモリを62%削減し、1.67倍のプリフィルスピードアップと1.41倍のデコードスピードアップを達成した。
  論文  参考訳（メタデータ） (2024-10-02T12:35:53Z)
• Mnemosyne: Parallelization Strategies for Efficiently Serving Multi-Million Context Length LLM Inference Requests Without Approximations [8.881243419237608]
  本稿では,対話型長期コンテキスト推論のための3つの重要なイノベーションを提案する。 これらは適応的なチャンキングで、混合、シーケンスパイプライン並列(SPP)、キャッシュ並列(KVP)のプリフィルオーバーヘッドを削減する。 これらのコントリビューションは3D戦略に統合され、Mnemosyneは対話的推論を少なくとも1000万トークンまで拡張し、並列処理で高いスループットを実現することができる。
  論文  参考訳（メタデータ） (2024-09-25T18:21:05Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• E^2-LLM: Efficient and Extreme Length Extension of Large Language Models [74.1254067728251]
  本稿では,E2-LLMと呼ばれる大規模言語モデルに対して,1つの訓練手順と劇的にコストを削減した効率的な拡張手法を提案する。 複数のベンチマークデータセットに対する総合的な実験結果から,E2-LLMが長文課題に対する有効性を示した。
  論文  参考訳（メタデータ） (2024-01-13T02:11:20Z)
• BTR: Binary Token Representations for Efficient Retrieval Augmented Language Models [77.0501668780182]
  Retrieval augmentationは、大規模言語モデルにおける多くの重要な問題に対処する。 検索拡張言語モデル(LM)の実行は遅く、大量の検索されたテキストを処理するため、スケールが困難である。 1ビットベクトルを用いて各トークンを前処理するバイナリトークン表現(BTR)を導入する。
  論文  参考訳（メタデータ） (2023-10-02T16:48:47Z)
• Layered gradient accumulation and modular pipeline parallelism: fast and efficient training of large language models [0.0]
  分散トレーニングのさまざまな構成について、可能な限り最短のトレーニング時間を分析します。 本稿では,最短トレーニング時間を半減する2つの新しい手法,テキスト層勾配蓄積法とテキストモジュールパイプライン並列化法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T19:21:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。