論文の概要: From 128K to 4M: Efficient Training of Ultra-Long Context Large Language Models

• arxiv url: http://arxiv.org/abs/2504.06214v1
• Date: Tue, 08 Apr 2025 16:58:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:31:56.930592
• Title: From 128K to 4M: Efficient Training of Ultra-Long Context Large Language Models
• Title（参考訳）: 128Kから4M:超長期大言語モデルの効率的な訓練
• Authors: Chejian Xu, Wei Ping, Peng Xu, Zihan Liu, Boxin Wang, Mohammad Shoeybi, Bo Li, Bryan Catanzaro,
• Abstract要約: 長いコンテキスト機能は、ドキュメントやビデオの理解、コンテキスト内学習、推論時間スケーリングなど、幅広いアプリケーションに不可欠である。 コンテクスト長を128Kから1M,2M,4Mに制限し,コンテクスト長を128Kから4Mに抑えることで,超長コンテキストLCMを構築するための効率的なトレーニング手法を提案する。 提案手法は,多種多様な長文ベンチマークにおける最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 54.44375226381814
• License:
• Abstract: Long-context capabilities are essential for a wide range of applications, including document and video understanding, in-context learning, and inference-time scaling, all of which require models to process and reason over long sequences of text and multimodal data. In this work, we introduce a efficient training recipe for building ultra-long context LLMs from aligned instruct model, pushing the boundaries of context lengths from 128K to 1M, 2M, and 4M tokens. Our approach leverages efficient continued pretraining strategies to extend the context window and employs effective instruction tuning to maintain the instruction-following and reasoning abilities. Our UltraLong-8B, built on Llama3.1-Instruct with our recipe, achieves state-of-the-art performance across a diverse set of long-context benchmarks. Importantly, models trained with our approach maintain competitive performance on standard benchmarks, demonstrating balanced improvements for both long and short context tasks. We further provide an in-depth analysis of key design choices, highlighting the impacts of scaling strategies and data composition. Our findings establish a robust framework for efficiently scaling context lengths while preserving general model capabilities. We release all model weights at: https://ultralong.github.io/.
• Abstract（参考訳）: 長いコンテキスト機能は、文書やビデオの理解、コンテキスト内学習、推論時間スケーリングなど、幅広いアプリケーションに必須であり、これらはすべて、テキストとマルチモーダルデータの長いシーケンスをモデルで処理し、推論する必要がある。 本研究では、128Kから1M,2M,4Mのトークンにコンテキスト長の境界を押し上げることで,超長コンテキストLPMをアライメントインストラクションモデルから構築するための効率的なトレーニング手法を提案する。 提案手法では,コンテキストウィンドウの拡張に効率的な事前学習戦略を活用し,命令追従能力と推論能力の維持に効果的な命令チューニングを用いる。 我々のUltraLong-8Bは、Llama3.1-Instructをレシピで構築し、様々な長文ベンチマークで最先端のパフォーマンスを実現する。 重要なことは、我々のアプローチで訓練されたモデルは、標準ベンチマーク上での競争性能を維持し、長期および短期のタスクのバランスのとれた改善を実証する。 さらに、重要な設計選択の詳細な分析を行い、スケーリング戦略とデータ構成の影響を強調します。 本研究は,汎用モデル機能を維持しつつ,コンテキスト長を効率的に拡張するための堅牢なフレームワークを構築した。 すべてのモデルウェイトを以下にリリースします。

関連論文リスト

• How to Train Long-Context Language Models (Effectively) [75.5418485597276]
  言語モデル(LM)の継続学習と教師付き微調整(SFT)を行い,長文情報の有効利用について検討した。 コードリポジトリと書籍は長いデータの優れた情報源であることがわかったが、それらと高品質の短文データを組み合わせることが不可欠である。 最終モデルであるProLong-8Bは、128Kの同様のサイズのモデル間で、最先端の長文性能を示す。
  論文  参考訳（メタデータ） (2024-10-03T16:46:52Z)
• Untie the Knots: An Efficient Data Augmentation Strategy for Long-Context Pre-Training in Language Models [21.90388980448712]
  長いコンテキストを扱うためのトレーニングモデルには、大きな課題があります。 継続事前学習フェーズで使用される新しいデータ拡張戦略であるUntie the Knots(textbfUtK)を紹介する。 我々は、UtKがRULER上で128Kの文脈長で75%と84.5%の精度を達成したことを示す200億のトークンで訓練された7Bと72Bのパラメータを持つモデルに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2024-09-07T09:28:55Z)
• LongRecipe: Recipe for Efficient Long Context Generalization in Large Language Models [72.71150585370147]
  LongRecipeは、大きな言語モデルのコンテキストウィンドウを拡張するための効率的なトレーニング戦略である。 トレーニング効率を維持しながら、長いシーケンス入力をシミュレートし、長距離依存に対するモデルの理解を大幅に改善する。 LongRecipeは、ターゲットのコンテキストウィンドウサイズの30%しか必要とせず、長いシーケンスを使うことができる。
  論文  参考訳（メタデータ） (2024-08-31T17:19:30Z)
• Leveraging Visual Tokens for Extended Text Contexts in Multi-Modal Learning [68.43706033424378]
  本研究では,大規模言語モデル(MLLM)において,テキスト中のテキスト長を効率的に向上する革新的な手法を提案する。 視覚トークンを用いて長文のテキストを処理するビジュアルインコンテキストテキスト処理(VisInContext)を提案する。 この技術は、トレーニングおよび推論段階の両方において、GPUメモリ使用率と浮動小数点演算(FLOP)を大幅に削減する。
  論文  参考訳（メタデータ） (2024-06-04T17:59:25Z)
• LongSkywork: A Training Recipe for Efficiently Extending Context Length in Large Language Models [61.12177317970258]
  LongSkyworkは、最大20万のトークンを処理できる、長いコンテキストのLarge Language Modelである。 我々は合成データを作成する2つの新しい方法を開発した。 LongSkyworkは、様々なロングコンテキストベンチマークで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-02T03:34:41Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。