論文の概要: LongRecipe: Recipe for Efficient Long Context Generalization in Large Language Models

• arxiv url: http://arxiv.org/abs/2409.00509v2
• Date: Wed, 4 Sep 2024 15:55:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 14:18:10.778934
• Title: LongRecipe: Recipe for Efficient Long Context Generalization in Large Language Models
• Title（参考訳）: LongRecipe: 大規模言語モデルにおける効率的なLong Context Generalizationの準備
• Authors: Zhiyuan Hu, Yuliang Liu, Jinman Zhao, Suyuchen Wang, Yan Wang, Wei Shen, Qing Gu, Anh Tuan Luu, See-Kiong Ng, Zhiwei Jiang, Bryan Hooi,
• Abstract要約: LongRecipeは、大きな言語モデルのコンテキストウィンドウを拡張するための効率的なトレーニング戦略である。 トレーニング効率を維持しながら、長いシーケンス入力をシミュレートし、長距離依存に対するモデルの理解を大幅に改善する。 LongRecipeは、ターゲットのコンテキストウィンドウサイズの30%しか必要とせず、長いシーケンスを使うことができる。
• 参考スコア（独自算出の注目度）: 72.71150585370147
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) face significant challenges in handling long-context tasks because of their limited effective context window size during pretraining, which restricts their ability to generalize over extended sequences. Meanwhile, extending the context window in LLMs through post-pretraining is highly resource-intensive. To address this, we introduce LongRecipe, an efficient training strategy for extending the context window of LLMs, including impactful token analysis, position index transformation, and training optimization strategies. It simulates long-sequence inputs while maintaining training efficiency and significantly improves the model's understanding of long-range dependencies. Experiments on three types of LLMs show that LongRecipe can utilize long sequences while requiring only 30% of the target context window size, and reduces computational training resource over 85% compared to full sequence training. Furthermore, LongRecipe also preserves the original LLM's capabilities in general tasks. Ultimately, we can extend the effective context window of open-source LLMs from 8k to 128k, achieving performance close to GPT-4 with just one day of dedicated training using a single GPU with 80G memory. Our code is released at https://github.com/zhiyuanhubj/LongRecipe.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事前トレーニング中に有効なコンテキストウィンドウサイズが制限され、拡張シーケンスを一般化する能力が制限されるため、長いコンテキストタスクを扱う上で大きな課題に直面している。 一方,LLMのコンテキストウィンドウを事前学習で拡張することは資源集約性が高い。 この問題を解決するために,LongRecipeを導入する。LumRecipeは,LLMのコンテキストウィンドウを拡張するための効率的なトレーニング戦略である。 トレーニング効率を維持しながら、長いシーケンス入力をシミュレートし、長距離依存に対するモデルの理解を大幅に改善する。 LLMの3種類の実験では、LongRecipeはターゲットのコンテキストウィンドウの30%しか必要とせず、長いシーケンスを使うことができることが示され、完全なシーケンストレーニングに比べて85%以上の計算トレーニングリソースを削減できる。 さらにLongRecipeは、一般的なタスクにおける元のLLMの機能も保持している。 最終的に、オープンソースのLLMの効果的なコンテキストウィンドウを8kから128kに拡張することができ、80Gメモリを持つ1つのGPUを使用した1日の専用トレーニングで、GPT-4に近いパフォーマンスを実現できます。 私たちのコードはhttps://github.com/zhiyuanhubj/LongRecipe.comで公開されています。

関連論文リスト

• Long Context is Not Long at All: A Prospector of Long-Dependency Data for Large Language Models [13.091271774417867]
  長期コンテキストモデリング機能は、様々なアプリケーションにおいて大きな言語モデル(LLM)にとって重要である。 データマイニングフレームワーク textbfProLong を提案する。 複数のベンチマークに関する総合的な実験は、ProLongが長い依存関係を持つドキュメントを効果的に識別していることを示している。
  論文  参考訳（メタデータ） (2024-05-28T07:36:56Z)
• InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory [93.20588235940453]
  本稿では,トレーニング不要なメモリベースのInfLLMを提案する。 InfLLMは、リモートコンテキストを追加のメモリユニットに格納し、トークン関連ユニットを注目するために効率的なメカニズムを使用する。 シーケンス長が$1,024$Kにスケールしても、InfLLMは依然として、長距離依存関係を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-02-07T06:50:42Z)
• LongAlign: A Recipe for Long Context Alignment of Large Language Models [61.85923382850057]
  LongAlignは、ロングコンテキストアライメントのための命令データ、トレーニング、評価のレシピである。 我々はSelf-Instructを使って長い命令追従データセットを構築した。 我々は、長さ分布の異なるデータの教師付き微調整を高速化するために、パッキングとソート戦略を採用した。
  論文  参考訳（メタデータ） (2024-01-31T18:29:39Z)
• LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning [67.39585115936329]
  LLMには、微調整なしで長いコンテキストを処理できる固有の能力がある、と我々は主張する。 バイレベルアテンション情報を構築することで,LLMのコンテキストウィンドウを拡張するためのSelfExtendを提案する。 複数のベンチマークで包括的な実験を行い、その結果、既存のLLMのコンテキストウィンドウ長を効果的に拡張できることが示されている。
  論文  参考訳（メタデータ） (2024-01-02T18:30:51Z)
• LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models [67.58275666573496]
  LongLoRAは、トレーニング済みの大規模言語モデルのコンテキストサイズを拡張する、効率的な微調整アプローチである。 7B/13Bから70BまでのLlama2モデル上での各種タスクに対する実験結果が強かった。
  論文  参考訳（メタデータ） (2023-09-21T17:59:11Z)
• PoSE: Efficient Context Window Extension of LLMs via Positional Skip-wise Training [91.99700930388998]
  固定されたコンテキストウィンドウを用いて長い入力をシミュレートする位置スキップ-wisEトレーニングを提案する。 PoSEはフル長の微調整に比べてメモリと時間オーバーヘッドを大幅に削減する。 2kのトレーニングコンテキストウィンドウを使用して,LLaMAモデルを128kトークンに拡張した。
  論文  参考訳（メタデータ） (2023-09-19T08:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。