論文の概要: LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens

• arxiv url: http://arxiv.org/abs/2402.13753v1
• Date: Wed, 21 Feb 2024 12:30:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 15:32:59.692461
• Title: LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens
• Title（参考訳）: LongRoPE: LLMコンテキストウィンドウを200万以上のトークンに拡張
• Authors: Yiran Ding, Li Lyna Zhang, Chengruidong Zhang, Yuanyuan Xu, Ning Shang, Jiahang Xu, Fan Yang, Mao Yang
• Abstract要約: 現在の拡張コンテキストウィンドウは約128kトークンに制限されている。 LongRoPEは、事前訓練されたLLMのコンテキストウィンドウを2048kトークンに拡張する。
• 参考スコア（独自算出の注目度）: 7.833740464264734
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large context window is a desirable feature in large language models (LLMs). However, due to high fine-tuning costs, scarcity of long texts, and catastrophic values introduced by new token positions, current extended context windows are limited to around 128k tokens. This paper introduces LongRoPE that, for the first time, extends the context window of pre-trained LLMs to an impressive 2048k tokens, with up to only 1k fine-tuning steps at within 256k training lengths, while maintaining performance at the original short context window. This is achieved by three key innovations: (i) we identify and exploit two forms of non-uniformities in positional interpolation through an efficient search, providing a better initialization for fine-tuning and enabling an 8x extension in non-fine-tuning scenarios; (ii) we introduce a progressive extension strategy that first fine-tunes a 256k length LLM and then conducts a second positional interpolation on the fine-tuned extended LLM to achieve a 2048k context window; (iii) we readjust LongRoPE on 8k length to recover the short context window performance. Extensive experiments on LLaMA2 and Mistral across various tasks demonstrate the effectiveness of our method. Models extended via LongRoPE retain the original architecture with minor modifications to the positional embedding, and can reuse most pre-existing optimizations.
• Abstract（参考訳）: 大きなコンテキストウィンドウは、大きな言語モデル(LLM)で望ましい機能である。 しかし、高い微調整コスト、長いテキストの不足、新しいトークンの位置によってもたらされる破滅的な値のため、現在の拡張コンテキストウィンドウは約128kトークンに制限されている。 本稿では,LongRoPEを初めて,事前学習したLLMのコンテキストウィンドウを2048kのトークンに拡張し,最大1kの微調整ステップを256kのトレーニング長で行うとともに,元の短いコンテキストウィンドウの性能を維持した。 これは3つの重要なイノベーションによって達成される。 i) 効率的な探索により位置補間における2種類の非均一性を識別し, 利用することにより, 微調整におけるより優れた初期化と, 微調整以外のシナリオにおける8倍拡張を実現する。 (II)まず256kのLLMを微調整し,さらに2048kのコンテキストウインドウを実現するために2番目の位置補間を行うプログレッシブ拡張戦略を導入する。 (3)LongRoPEを8k長で書き直し,ショートコンテキストウィンドウの性能を回復する。 LLaMA2 と Mistral の多機能化実験により,本手法の有効性が示された。 LongRoPEを通じて拡張されたモデルは、位置埋め込みに小さな変更を加えて元のアーキテクチャを保持し、既存の最適化を再利用することができる。

関連論文リスト

• LongRecipe: Recipe for Efficient Long Context Generalization in Large Language Models [72.71150585370147]
  LongRecipeは、大きな言語モデルのコンテキストウィンドウを拡張するための効率的なトレーニング戦略である。 トレーニング効率を維持しながら、長いシーケンス入力をシミュレートし、長距離依存に対するモデルの理解を大幅に改善する。 LongRecipeは、ターゲットのコンテキストウィンドウサイズの30%しか必要とせず、長いシーケンスを使うことができる。
  論文  参考訳（メタデータ） (2024-08-31T17:19:30Z)
• ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities [53.97515452727115]
  ChatQA 2は、128Kコンテキストウィンドウを備えたLlama 3.0ベースのモデルである。 Llama3-70Bベースのコンテキストウィンドウを8Kから128Kまで拡張するためのトレーニングレシピを提案する。 以上の結果から,Llama3-ChatQA-2-70Bモデルは既存の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-07-19T17:35:47Z)
• LongEmbed: Extending Embedding Models for Long Context Retrieval [87.60404151086715]
  本稿では、埋め込みモデルのコンテキストウィンドウ拡張について検討し、追加のトレーニングを必要とせず、制限を32kまで押し上げる。 まず、新たに構築したLongEmbedベンチマークにおいて、コンテキスト検索のための現在の埋め込みモデルの性能について検討する。 実験では、PlaceRoのようなトレーニング不要のコンテキストウィンドウ拡張戦略が、既存の埋め込みモデルのコンテキストウィンドウを複数の折り畳みで効果的に拡張できることが示されている。
  論文  参考訳（メタデータ） (2024-04-18T11:29:23Z)
• XL$^2$Bench: A Benchmark for Extremely Long Context Understanding with Long-range Dependencies [45.31042312867939]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスを示しているが、その小さなコンテキストウィンドウサイズによって制約されている。 最大200Kの入力トークンに対応するために、コンテキストウィンドウを拡張するための様々な取り組みが提案されている。 XL$2$Bench という,長距離依存によるコンテキスト理解のためのベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-04-08T12:29:07Z)
• Extending LLMs' Context Window with 100 Samples [42.52554295241792]
  LLM(Large Language Models)は、事前訓練されたコンテキストウィンドウを超えて、外挿能力に制限があることが知られている。 最近の研究は回転位置埋め込み(RoPE)を改良してコンテキストウィンドウを拡張しようとしている。 我々は、RoPEのベース周波数の調整と注意ログのスケーリングを組み合わせて、LLMがより大きなコンテキストウインドウに効率的に適応するのに役立つ新しい拡張をRoPEに導入する。
  論文  参考訳（メタデータ） (2024-01-13T07:57:01Z)
• Retrieval meets Long Context Large Language Models [59.431200671427064]
  大規模言語モデル(LLM)のコンテキストウィンドウの拡張が最近人気を集めている。 Retrieval-augmentation対ロングコンテキストウィンドウ。 両方の方法を組み合わせることで、両方の世界を最大限に活用できますか? 我々の最良モデルである32Kコンテキストウィンドウ付きLlama2-70Bは、9つの長いコンテキストタスクの平均スコアにおいて、GPT-3.5-turbo-16kとDavinci003より優れています。
  論文  参考訳（メタデータ） (2023-10-04T17:59:41Z)
• PoSE: Efficient Context Window Extension of LLMs via Positional Skip-wise Training [91.99700930388998]
  固定されたコンテキストウィンドウを用いて長い入力をシミュレートする位置スキップ-wisEトレーニングを提案する。 PoSEはフル長の微調整に比べてメモリと時間オーバーヘッドを大幅に削減する。 2kのトレーニングコンテキストウィンドウを使用して,LLaMAモデルを128kトークンに拡張した。
  論文  参考訳（メタデータ） (2023-09-19T08:03:38Z)
• Parallel Context Windows for Large Language Models [52.965170346907904]
  本稿では,PCW(Parallel Context Windows)について述べる。 本研究の主な成果は,7億5000万から1億7800億のパラメータのモデルを用いて,テキスト内学習におけるPCWアプローチを検証した。 長いコンテキストウインドウが有益であるかもしれない他の設定では、マルチホップ質問と検索強化質問が複数の検索された文書で答えられる。
  論文  参考訳（メタデータ） (2022-12-21T11:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。